游戏开发技术论坛

 找回密码
 立即注册
搜索
查看: 12227|回复: 0

原画、概设、氛围参考?细说AI在游戏2D美术中的应用

[复制链接]

4万

主题

4万

帖子

7万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
76824
发表于 2022-9-26 09:42:29 | 显示全部楼层 |阅读模式
以下文章来源于腾讯游戏学堂 ,作者Ocarina user6001

微信图片_20220926093354.JPG

前言

文中将会介绍当前AI在2D美术中的应用与在游戏美术中落地使用的可能性,并收集整理了当下辅助2D美术创作流程中的一些值得关注的AI应用。希望能为艺术家和美术从业者提供更多的灵感和帮助。

一、插画自动生成

今天有很大基数的AI绘画创作者们,他们的绘画水平其实很高,他们借助AI不是为了得到一个非常具体的精细度很高的绘画成品。他们想要的其实是AI给他们提供一个思路,可能是构图上的,可能是颜色上的,可能是更加摸棱两可的画面感受,然后他们再在这些基础之上进行自己的创作。

1.1 应用场景

• 概念图辅助设计,为前期角色设计、场景概念设计、服装设计、武器设计、海报设计等提供设计参考

• 相同风格衍生作品、风格迁移等。

1.2 上手难度

• 上手难度几乎为零,以Midjourney为例(见视频),进入Midjourney Discord社区newbies板块,输入/imagine+描述语句发送。即可快速生成预览图。

• 文章头图来自作者初学Midjourney5分钟后的成果,所有内容相关链接放在文末。

1.3 应用案例

1.3.1 Midjourney

Midjourney是Disco Diffusion的原作者Somnai所加入的AI艺术项目实验室。可以通过字段生成概念设计图,目前已开放Beta测试版,已经能做到极为细致的概念设计图。

微信图片_20220926093400.JPG
[ 上图为创作者使用midjourney输入如下一段话生成promote: "Earthquake,tsunami, tornado, volcano eruption, destruction of city, cinematic" ]

微信图片_20220926093402.JPG
[ 上图为创作者使用midjourney输入如下一段话生成promote: "dark fantasy thief, full body, wearing leather armor suit, belts, strap, pockets on chest, white light smoke" ]

微信图片_20220926093403.JPG
[ 国内艺术家Whimmy的AI创作作品 ]

微信图片_20220926093405.JPG
[ 光子工作室群3D艺术家 陈麒宇老师的作品 ]

除此之外,目前不少AI绘画还有频繁更新的midjourney社区,公开的创作思路和源代码给社区和创作者带来无穷无尽的化学反应。

社区作品:

微信图片_20220926093406.JPG

微信图片_20220926093411.JPG

微信图片_20220926093412.JPG

微信图片_20220926093413.JPG

1.3.2 Dell-e-2

DALL·E 2 是一个新的人工智能系统,可以根据自然语言的描述创建逼真的图像和艺术。

美术同学可以尝试同样风格不同位置的风格迁移,为创作提供更多灵感和布局参考

• 通过使用文字关键词绘画

微信图片_20220926093414.JPG
[ promote: Teddy bears, mixing sparkling chemicals as mad scientists,in a steampunk style ]

• 通过为绘画生成相同风格的变体

微信图片_20220926093415.JPG

• 通过为绘画指定位置添加相同风格物件

微信图片_20220926093416.JPG

1.3.3 ArtBreeder

Artbreeder,前身为 Ganbreeder,是一个协作的、基于机器学习的艺术网站。使用 StyleGAN 和 BigGAN 模型,该网站允许用户生成和修改面部、风景和绘画等类别的图像。通过混合图片绘制新的图片,为创作提供可能性和不同的风格参考方向

微信图片_20220926093417.JPG

1.3.4 NVIDIA CANVAS

把笔触变成写实风格的风景。

微信图片_20220926093418.JPG

Nvida canvas提供了图层和类型笔刷用于通过简单的笔触绘制真实地形图片。

1.3.5 Style Transfer

将一种风格的图像内容优化为特定其他风格的内容类似ArtBreeder,将两张图像混合,可用于场景设定风格的测试及参考

微信图片_20220926093419.JPG

1.3.6 Stable Diffusion

Stable Diffusion中可以通过输入拼合的素材图生成完整的概念设计图,可以用于辅助场景构图等使用场景。

二、资产贴图生成

2.1 应用点

• 真实图片转Substance资产

• 提高贴图分辨率

• 快速制作天空盒

2.2 生成天空盒

GauGAN360 能将粗糙的涂鸦生成真实感的8K、360 度全景图。

微信图片_20220926093421.JPG

2.3 配合AI绘制PBR贴图

2.3.1 Dream-Texture

• 可以使用简单的文本提示创建纹理、概念艺术、背景资源等。提供了多种选项(如使用“无缝”选项创建完美平铺且没有可见接缝的纹理贴图)定制化生成贴图

• 在现有纹理上快速创建变体

尝试 AI 图像生成

微信图片_20220926093422.JPG

微信图片_20220926093423.JPG

2.3.2 其他实践

• 结合Photoshop、DALL-E 2\midjourney、Gigapixel AI、Substance 3D Sampler/Designer 和 Marmoset Toolbag ,MVDIA的材质艺术家演示了如何通过AI辅助,从照片图片到材质的工作流程。

微信图片_20220926093424.JPG

微信图片_20220926093425.JPG

三、2DAnimation 绑定与动画制作

3.1 应用点

• 2D表情动作映射,2D 动画绑定等

3.2 Nvidia Vid2Vid Cameo

该模型基于生成式对抗网络 (GAN) 绘制面部动作,以捕捉实时运动,进而将该运动传输至虚拟角色。经过 18 万个视频的训练,该网络学会了如何识别 20 个关键点以对面部运动进行建模,即编码眼睛、嘴、鼻子、眉毛等部位的位置。

3.3 Creature:Auto Rigging 2D Humanoid Characters

Creature可为2D数字内容添加流畅的动画及自动2D绑定、2D FK/IK等。其中的Smart AI Rig功能只需提供角色姿势,按一下按钮即可对角色进行绑定和设置权重。

总结

赖于深度学习的发展和AI创作社区的兴起,截至今日AI在辅助美术创作领域有了很大的进步。经过调研,我们发现AI辅助逐渐有了转化成生产力潜力,人工智能的进步带来了新算法和高性能工具,为艺术家提供了一种新的创作和反思视角,让我们看到在游戏美术中使用AI的更多可能性。它所展现的实际效果也值得被创作者和开发者们重视。

在辅助2D创作设计时,也为我们提供了另一种思路,帮助艺术家提高创作效率和从一些繁琐的工作中解放出来。或许它会成为未来创作者的一个常备工具库,总之让我们期待它能带来的更多可能性!

参考内容参考链接


Midjourney:
Discord社区
• https://discord.gg/midjourney


Midjourney Quick StartL
• https://midjourney.gitbook.io/docs/


社区地址
• https://www.midjourney.com/app/feed/all/


作品案例
https://www.artstation.com/whimmy


详细使用方法
https://midjourney.gitbook.io/docs/user-manual#stylize-values


Artbreeder:
• https://www.artbreeder.com/


DALL-E-2


• https://openai.com/dall-e-2/
• https://www.artstation.com/stanbrown


Style-transfer
• https://www.fritz.ai/style-transfer/


Stable Diffusion
• https://stability.ai/blog/stable-diffusion-public-release


GAUGAN360
• http://imaginaire.cc/gaugan360/


AI Art in Game Dav
• https://www.youtube.com/watch?v=mM40Oe6FGEs


Nvidia Vid2Vid Cameo
• https://github.com/NVIDIA/vid2vid


Smart AI Rig - Creature Animation
• https://www.kestrelmoon.com/creaturedocs/Rigging/Smart_AI_Rig.html


Tools and Resources for AI Art
• https://pharmapsychotic.com/tools.html


Stable Diffusion built-in to the Blender shader editor.
• https://github.com/carson-katri/dream-textures


Super Powering Technical Artists Using Deep Learning
• https://www.youtube.com/watch?v=N6zoHLdMs3Q


Prac tical Deep Learning for VFX and Technical Artists
• https://www.youtube.com/watch?v=miLIwQ7yPkA


AI Art in Game Dev
• https://www.youtube.com/watch?v=mM40Oe6FGEs

附录:AI隐私政策和licensor

目前关于AI作画的版权保护法律法规还未完善,不同的服务平台提供的版权和商用政策也不尽相同。以midjourney为例,目前免费用户遵循 NonCommercial 4.0协议,而付费用户在大部分情况下生成的图片都是可以商用的,但是对于大企业(1M/yr USD)则需要购买相应的合作计划,在使用AI辅助工具时,需要关注版权保护。

微信图片_20220926093426.JPG

https://midjourney.gitbook.io/docs/billing

文/Ocarina user6001
来源:腾讯游戏学堂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

作品发布|文章投稿|广告合作|关于本站|游戏开发论坛 ( 闽ICP备17032699号-3 )

GMT+8, 2023-2-8 12:33

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表