【Unite Tokyo 2018】ToonShader对话环节#1『RealtimeToonShader彻谈』Part3

Unity3D Japan在今年5月8日的Unite Tokyo 2018大会上有一个关于实时卡通渲染Shader的技术解析，这里做一些关键词笔记。

因为原视频总时长有2小时以上，这里我打算分成几个部分进行记录。

🎞油管视频地址：【Unite Tokyo 2018】トゥーンシェーダートークセッション#1『リアルタイムトゥーンシェーダー徹底トーク』

Part1：【Unite Tokyo 2018】ToonShader对话环节#1『RealtimeToonShader彻谈』Part1

Part2：【Unite Tokyo 2018】ToonShader对话环节#1『RealtimeToonShader彻谈』Part2

✯在与模型组工作人员的配合过程中遇到的事情·续

5.在ToonShader开发过程中，「ForwardRendering」与「DeferredRendering」有什么区别

具体关于这两种渲染方式的定义这里就不做过多解释了，网上可以查到十分详细的介绍，简单说一下就是，前向渲染(ForwardRendering)是按照模型数量*灯光数量的方式累加计算结果，延迟渲染(DeferredRendering)则是先在屏幕空间中对后续计算所需要的参数进行采样(G-Buffer)，然后统一计算最终光照结果。

在大多数的DCC软件都是前向渲染方式，不过现在的mayaViewport2.0中已经支持类似SSAO，MSAA等比较先进的屏幕处理技术，这也说明了前向渲染技术一直都在进步，依旧值得学习使用。

在本村氏的介绍中，因为开发GG系列与DG系列用的都是UE4,而UE4默认使用的就是延迟渲染，虽然也可以在渲染设置中选择切换到前向渲染，但是依旧会有许多性能限制。

本村氏总结类似GG系列的开发经历就是：

如果能在处理G-buffer上能再简化一些的话可能会有一些好转，然而现状并不行。
因为角色处理是赛璐璐的感觉，背景则是正常的美术风格，因为在卡通渲染中共同处理了多种不同的质感表现，这个如果全都用延迟渲染的话其实还是挺难的。
虽然UE4是默认延迟渲染，但是在实际开发的时候其实只是在Emissive通道内进行最终输出，其他通道都没有使用，所以其实完全没有活用延迟渲染的特性。

如果延迟渲染能更进一步的话

延迟渲染的渲染方式很吸引人，而且可以无顾虑的设置灯光这一点也很有魅力。
如果G-buffer的自定义程度能更高一些的话，说不定就能制作出更有趣的Shader了。
因为G-buffer也是图片信息，如果进行模糊后再做线性插值计算的话，感觉能有很多新的效果出现。
然而现阶段因为技术与知识水平不足没办法在实际项目中进行操作。希望以后这种自定义的操作可以得到简化…。

6.「ToonLine」效果表现过程中遇到的一些难点

在背面挤出描边法中会遇到边界断开的情况

法线不平滑的地方就会遇到这种情况
但是在阴影处理时，又会希望使用到硬边效果(=法线不平滑)

之所以选择背面挤出描边法

可以实时查看效果，进行调整
在shader中就可以进行各种调整。修改强弱，扩边距离等
在配合使用顶点色进行控制的时候，能实时得到反馈，这一点很重要
因为顶点色是以float格式存储，效果要远好于用贴图的256色阶，顶点色的质量损失是最少的

在使用背面挤出描边法时候的小技巧(以GGXrd为例)

模型在导入Unreal引擎的时候可以选择自动进行法线计算，通过对引擎进行修改，可以将自动计算得到的法线存储到模型的切线信息中。
可以通过这种法线编辑来修正由硬边计算产生的描边断开的情况
之所以选择导入切线信息而不是直接使用顶点色进行修复是因为切线信息会随着模型的变化而实时变化，顶点信息则不会发生改变
这种做法会导致无法正常使用法线贴图，不过因为项目中原本也没有用到法线贴图所以没有产生影响
不知道这种操作流程在Unity中如何进行实现

描边效果的重要性

描边效果并不仅仅为了制作出「类似动漫」的感觉
在考虑描边效果的时候，要从描边的「作用」来思考
人眼与大脑在传达信息的过程中轮廓线会起到强调的作用。
最终会提高描边对象的「辨识度」。这和体育新闻的大标题原理类似(体育新闻的标题会有很粗的多重彩色描边来用于强调文字)

7.关于ToonShader在海外的评价与人气有什么感想

动漫风格是无国界的

日式动漫风格在海外也渐渐变得习以为常了
有些海外同人作品的绘画质量甚至会高于日本本土作品
其中一些已经超出「宅文化」的范畴，而渐渐被大众人群所接受理解
年轻一代也是看着重播版「龙珠」长大的
大家渐渐具有同感。会被同一件事物感动，会热血，也会感到「萌え」

需求强劲

特别是在游戏领域，那些受到日本的动漫、游戏影响而长大的一代人会有强烈需求
自从做了技术介绍之后就经常会听到「做成类似罪恶装备的〇〇效果就行了！」这样的需求
但是不是说做成了卡通渲染风格就能「大卖」
写实风格也有很高的人气，卡通风格只是处于没有劣势的境地而已
说到底还是要看作品的内容

具体谈谈NPR效果的必要性与需求

类比好莱坞电影：即使原作是漫画，在影视化之后也会借助CG技术制作成超写实风格的成品
日本的动漫与游戏：更加重视实现将原作漫画等的画面直接运动起来的效果，追求非写实的表现

关于NPR的参考文献可以查看这个网站：http://www.red3d.com/cwr/npr/

海外的一些动漫风格表现作品有：

8.对于ToonShader未来的发展，现在有什么期待的新技术么

技术：实时光线追踪(Realtime Ray Tracing)

可能会成为自身阴影、AO的全新解决方案
不知道可控程度有多少

技术：从写实效果到背景美术的切换

需要与卡通角色一致的背景
已经实现了线下的背景转换，然而不确定这个技术运用到实时渲染上是不是只是时间问题了
从写实游戏背景到卡通游戏背景的转换也就成为了可能

灵活用法：虚拟角色

虽然现在Vtuber已经在使用了，然而应该还可以在其他领域里得到运用
想要得到有别于写实风格的富有魅力的表现，那就可以用到ToonShader了
也可以运用到虚拟角色的演出等娱乐节目中去

灵活用法：(设想)与AI、AR等的合作

HMD的视野内看到的人自动替换成虚拟形象
现实中的画面也能自动替换成绘画风格。实现字面意义的进入「动漫的世界」
强化已有娱乐项目的体验
将写实运动项目进行背景，角色的替换，添加特效与音效做成超人运动会!什么的(23333)

9.ToonShader开发中最重要的是什么

不断的试错与改善

不要满足与现状，要时刻追求与探索更好的表现方式
不要停留在已有的条件框架下，尝试使用各种手段进行改善优化

结论：关于ToonShader的将来

海外一直都在进行写实风格表现手法的学术研究，从这方面想要进行突破的空间可能比较小
另一方面，卡通渲染风格则是停留在初期阶段，所以各种表现风格与表现手法都还有发展的余地
相信卡通渲染技术今后也会不断出现新的表现与技术
游戏画质可以说是日新月异，写实渲染给人带来的视觉冲击力相比以前已经渐渐降低了
现在正是卡通渲染表现得以大力发展的时代，说不定能再次带来以前对新技术的兴奋感
敬请期待

结论的结论

说到底这也不能只靠ToonShader自己发展，也需要游戏与影视等其他作品相互配合。
画质再好作品本身无趣的话也是没有意义
所以选择与作品相匹配的艺术风格才是最重要的
更进一步的从作品艺术风格以外的部分提高作品本身的水平也是相当重要的

Unite Tokyo 2018 笔记 [1-3]

June 26, 2018