自动做游戏（5）：新海诚版“和平精英”长啥样？

小篱

风格转换是近年来机器学习的热点研究课题之一，未来风格转换技术也许可以应用到游戏当中，于是我们做了些实验，试图寻找这种可能。清华大学的《CartoonGAN:Generative Adversarial Networks for Photo Cartoonization》提出一种转换动漫风格的方法，我们基于该技术，做些游戏动漫风格转换的试验，以求未来有可能将深度学习技术广泛应用于游戏开发中，提高游戏开发效率。

1、新海诚版“和平精英”长啥样？

第一个实验是为游戏画面做风格转换，选取了当前热门的“和平精英”的一段录像，然后逐帧转换，以求获取一套动漫风格的和平精英。尽管不是实时，但也已经有人做过实验，在较高配置的PC上对游戏画面实时做风格转换，达到可以接受的帧率。

测试结果来看，对场景的动画风格还原较好，这可能因为CartoonGAN的训练素材中，有更多的动漫场景。以下是一些画面截图。

如今，游戏都在追求高逼真的渲染，计算量大。或许未来，可以利用深度学习技术，以低于光照的计算量计算物理光照。或者使用一些较为容易获得的素材，再做整体的风格转换，以求获得良好的视觉效果。

2、自动转卡通贴图

如果开发一个卡通风格的游戏，除了要编写卡通shader外，还需要使用卡通风格的贴图，鉴于很多贴图素材是以现实为参考，美术同学往往需要手动去转换贴图。

我们尝试了在一个游戏场景中，对贴图做卡通风格转换。如下图，展示了场景中的原始贴图，以及转换成宫崎骏和新海诚风格的贴图。

将贴图应用到实际场景中，得到下图的效果。可见，边缘和棱角都更加明晰，若配合卡通shader，或能有一些效果。

下图是宫崎骏版的场景放大图。

3、CG动画风格转换

我们还尝试了将一段游戏CG（仙剑5前传结局动画）逐帧做风格转换，以求得到动漫风格的CG动画。由于CG动画包含较多的人物，较少的场景，效果一般。可以期待的是，随着技术的发展，也许可以由美术同学制作一套很简单的动画，甚至只用通用模型摆出动作，再配合自动绘图和风格转换去填充细节，以减少CG动画的制作成本。

以下是转换后的一些画面。

我们还尝试将影视剧片段转换成动漫风格，下图为“大军师司马懿之军师联盟”中一段宣传视频的转换截图，整段视频的转换效果并不好，下图是其中较好看的一帧。或许可以期待未来可以用类似的方式制作动漫。

还尝试对人物做转换，下图是某抖音网红的转换效果，侵删。

4、原始资料

把转换视频都上传到B站，以供参考。每套视频有5个视频，依次为：p1宫崎骏风格、p2细田守风格、p3今敏红辣椒风格、p4新海诚风格、p5原版视频

《新海诚做的吃鸡长什么样？》
https://www.bilibili.com/video/av58810535/


《新海诚拍司马懿连续剧，会拍成什么样？》
https://www.bilibili.com/video/av58806556/


《莉哥突然变成动漫人物了！》
https://www.bilibili.com/video/av58798916/


《宫崎骏做仙剑，会长什么样》
https://www.bilibili.com/video/av58809610/

又到推荐时间了，如果想学习网络游戏开发，《Unity3D网络游戏实战（第2版）》中用一个大实例详细介绍网络游戏的开发的全过程，还对网络编程有详细的讲解，非常合适。

系列文章：
自动做游戏（1）：自动生成人物侧面图
自动做游戏（2）：自动生成人物行走图
自动做游戏（3）：行走图生成工具开放试用
自动做游戏（4），极小样本生成国画的尝试
自动做游戏（5）：新海诚版“和平精英”长啥样？

作者：罗培羽
专栏地址：https://zhuanlan.zhihu.com/p/73731724