以下文章来源于腾讯游戏学堂 ，作者Ocarina user6001
前言
文中将会介绍当前AI在2D美术中的应用与在游戏美术中落地使用的可能性，并收集整理了当下辅助2D美术创作流程中的一些值得关注的AI应用。希望能为艺术家和美术从业者提供更多的灵感和帮助。
一、插画自动生成
今天有很大基数的AI绘画创作者们，他们的绘画水平其实很高，他们借助AI不是为了得到一个非常具体的精细度很高的绘画成品。他们想要的其实是AI给他们提供一个思路，可能是构图上的，可能是颜色上的，可能是更加摸棱两可的画面感受，然后他们再在这些基础之上进行自己的创作。
1.1 应用场景
• 概念图辅助设计，为前期角色设计、场景概念设计、服装设计、武器设计、海报设计等提供设计参考
• 相同风格衍生作品、风格迁移等。
1.2 上手难度
• 上手难度几乎为零，以Midjourney为例(见视频)，进入Midjourney Discord社区newbies板块，输入/imagine+描述语句发送。即可快速生成预览图。
• 文章头图来自作者初学Midjourney5分钟后的成果，所有内容相关链接放在文末。
1.3 应用案例
1.3.1 Midjourney
Midjourney是Disco Diffusion的原作者Somnai所加入的AI艺术项目实验室。可以通过字段生成概念设计图，目前已开放Beta测试版，已经能做到极为细致的概念设计图。
[ 上图为创作者使用midjourney输入如下一段话生成promote: "Earthquake,tsunami, tornado, volcano eruption, destruction of city, cinematic" ]
[ 上图为创作者使用midjourney输入如下一段话生成promote: "dark fantasy thief, full body, wearing leather armor suit, belts, strap, pockets on chest, white light smoke" ]
[ 国内艺术家Whimmy的AI创作作品 ]
[ 光子工作室群3D艺术家 陈麒宇老师的作品 ]
除此之外，目前不少AI绘画还有频繁更新的midjourney社区，公开的创作思路和源代码给社区和创作者带来无穷无尽的化学反应。
社区作品：
1.3.2 Dell-e-2
DALL·E 2 是一个新的人工智能系统，可以根据自然语言的描述创建逼真的图像和艺术。
美术同学可以尝试同样风格不同位置的风格迁移，为创作提供更多灵感和布局参考
• 通过使用文字关键词绘画
[ promote: Teddy bears, mixing sparkling chemicals as mad scientists,in a steampunk style ]
• 通过为绘画生成相同风格的变体
• 通过为绘画指定位置添加相同风格物件
1.3.3 ArtBreeder
Artbreeder，前身为 Ganbreeder，是一个协作的、基于机器学习的艺术网站。使用 StyleGAN 和 BigGAN 模型，该网站允许用户生成和修改面部、风景和绘画等类别的图像。通过混合图片绘制新的图片,为创作提供可能性和不同的风格参考方向
1.3.4 NVIDIA CANVAS
把笔触变成写实风格的风景。
Nvida canvas提供了图层和类型笔刷用于通过简单的笔触绘制真实地形图片。
1.3.5 Style Transfer
将一种风格的图像内容优化为特定其他风格的内容类似ArtBreeder，将两张图像混合，可用于场景设定风格的测试及参考
1.3.6 Stable Diffusion
Stable Diffusion中可以通过输入拼合的素材图生成完整的概念设计图，可以用于辅助场景构图等使用场景。
二、资产贴图生成
2.1 应用点
• 真实图片转Substance资产
• 提高贴图分辨率
• 快速制作天空盒
2.2 生成天空盒
GauGAN360 能将粗糙的涂鸦生成真实感的8K、360 度全景图。
2.3 配合AI绘制PBR贴图
2.3.1 Dream-Texture
• 可以使用简单的文本提示创建纹理、概念艺术、背景资源等。提供了多种选项（如使用“无缝”选项创建完美平铺且没有可见接缝的纹理贴图）定制化生成贴图
• 在现有纹理上快速创建变体
尝试 AI 图像生成
2.3.2 其他实践
• 结合Photoshop、DALL-E 2\midjourney、Gigapixel AI、Substance 3D Sampler/Designer 和 Marmoset Toolbag ，MVDIA的材质艺术家演示了如何通过AI辅助，从照片图片到材质的工作流程。
三、2DAnimation 绑定与动画制作
3.1 应用点
• 2D表情动作映射，2D 动画绑定等
3.2 Nvidia Vid2Vid Cameo
该模型基于生成式对抗网络 (GAN) 绘制面部动作，以捕捉实时运动，进而将该运动传输至虚拟角色。经过 18 万个视频的训练，该网络学会了如何识别 20 个关键点以对面部运动进行建模，即编码眼睛、嘴、鼻子、眉毛等部位的位置。
3.3 Creature：Auto Rigging 2D Humanoid Characters
Creature可为2D数字内容添加流畅的动画及自动2D绑定、2D FK/IK等。其中的Smart AI Rig功能只需提供角色姿势，按一下按钮即可对角色进行绑定和设置权重。
总结
赖于深度学习的发展和AI创作社区的兴起，截至今日AI在辅助美术创作领域有了很大的进步。经过调研，我们发现AI辅助逐渐有了转化成生产力潜力，人工智能的进步带来了新算法和高性能工具，为艺术家提供了一种新的创作和反思视角，让我们看到在游戏美术中使用AI的更多可能性。它所展现的实际效果也值得被创作者和开发者们重视。
在辅助2D创作设计时，也为我们提供了另一种思路，帮助艺术家提高创作效率和从一些繁琐的工作中解放出来。或许它会成为未来创作者的一个常备工具库，总之让我们期待它能带来的更多可能性！
参考内容参考链接
Midjourney:
Discord社区
• https://discord.gg/midjourney
Midjourney Quick StartL
• https://midjourney.gitbook.io/docs/
社区地址
• https://www.midjourney.com/app/feed/all/
作品案例
https://www.artstation.com/whimmy
详细使用方法
https://midjourney.gitbook.io/docs/user-manual#stylize-values
Artbreeder:
• https://www.artbreeder.com/
DALL-E-2
• https://openai.com/dall-e-2/
• https://www.artstation.com/stanbrown
Style-transfer
• https://www.fritz.ai/style-transfer/
Stable Diffusion
• https://stability.ai/blog/stable-diffusion-public-release
GAUGAN360
• http://imaginaire.cc/gaugan360/
AI Art in Game Dav
• https://www.youtube.com/watch?v=mM40Oe6FGEs
Nvidia Vid2Vid Cameo
• https://github.com/NVIDIA/vid2vid
Smart AI Rig - Creature Animation
• https://www.kestrelmoon.com/creaturedocs/Rigging/Smart_AI_Rig.html
Tools and Resources for AI Art
• https://pharmapsychotic.com/tools.html
Stable Diffusion built-in to the Blender shader editor.
• https://github.com/carson-katri/dream-textures
Super Powering Technical Artists Using Deep Learning
• https://www.youtube.com/watch?v=N6zoHLdMs3Q
Prac tical Deep Learning for VFX and Technical Artists
• https://www.youtube.com/watch?v=miLIwQ7yPkA
AI Art in Game Dev
• https://www.youtube.com/watch?v=mM40Oe6FGEs
附录：AI隐私政策和licensor
目前关于AI作画的版权保护法律法规还未完善，不同的服务平台提供的版权和商用政策也不尽相同。以midjourney为例，目前免费用户遵循 NonCommercial 4.0协议，而付费用户在大部分情况下生成的图片都是可以商用的，但是对于大企业(1M/yr USD)则需要购买相应的合作计划，在使用AI辅助工具时，需要关注版权保护。
https://midjourney.gitbook.io/docs/billing
文/Ocarina user6001
来源：腾讯游戏学堂
| 
发表于 2022-9-26 09:42:29
