会画画的AI有多可怕？
你是否想象过把蚂蚁和猪、螃蟹和鲸鱼，或者100种生物的任意两个组合起来会是什么神奇的亚子？
现在，AI可以把这些天马行空的想象全部变成现实！
而只需要我们点点鼠标随便涂个鸦，像这样：
犀牛的犄角，老鹰的翅膀，恐龙的尾巴，组合起来就可以变成这样：
妥妥地一幅专业创意作品，对绘画小白简直不要太友好。
更重要的是，它或许还能激发你的创意灵感，而这也是Google研究团队推出这款工具的目的之一。
这款AI绘画神器名为Chimera Painter，它是一个Web工具，其功能是基于动物简图生成高度逼真的“小怪兽”。
完成涂鸦后，只要点击「转换」按钮，它就会自动生成3D效果的「怪兽」。
有意思的是，Googel研究团队还把Chimera Painter创作的怪兽形象用来搭建了一个数字纸牌游戏。
图中每张纸牌的攻击值由上面的怪兽决定，这些怪兽的技能由他们所组合的两种物种决定。
据了解，这款AI工具的研发灵感就来自我们平时在游戏中看到的「怪兽」。Googel研究人员认为，这些怪兽的创作往往需要游戏美术师有高度的艺术创造力和技术知识，而AI可以充当画笔，帮助他们节省艺术创作的时间，比如一键完成3D渲染，甚至还可以增强他们的创造力。假如游戏中有100种动物，每种动物都可以相互融合，那么它会给任何艺术家带来很大的工作量，但这对于机器学习来说，是很轻松的事。
那么，它是如何做到的呢？
基于GAN的生成模型
Chimera Painter，是一种机器学习（ML）模型。为了可以生成高质量且任意组合的怪兽形象，研究团队向模型提供数千张生物图像，并标记了如爪，腿，腿，眼睛等特殊部位，以供模型进行训练。
该模型的训练过程利用的仍然是生成式对抗网络（GAN）,GAN我们已经非常熟悉，它可以基于两个卷积神经网络：生成器和判别器生成高清且逼真的新图像。其工作原理是，生成器用来创建新图像，鉴别器用来确定这些图像是否来自训练数据集。
不过，在这里研究人员提出了一种被称为条件GAN的变体，其中生成器采用单独的输入来指导图像生成过程。有趣的是，这种方法与其他GAN的工作完全不同，因为后者通常侧重于照片真实性，而该工具的目的是融合不同的物种生成一种嵌合体。
为了训练 GAN，研究团队创建了一个全彩色图像数据集，其中包含单种生物的轮廓，这些轮廓改编自3D 生物模型。这种生物的轮廓描述了每种生物的形状和大小，并提供了一张分割地图来识别身体的各个部分。
训练后的模型，可以基于艺术家提供的轮廓，生成表现最好的多物种嵌合体并嵌入到 Chimera Painter中。
创建有结构的生物数据集
使用GAN生成新物种时会遇到一个问题，即在绘制图像细节或低对比度部分时，可能会失去空间的连贯性，包括眼睛、手指，甚至是具有相似纹理的重叠身体部位之间的区分。
因此，它对训练数据集提出了一定的要求。现有的插图库不适合用作训练ML模型的数据集，原因是它们可能具有冲突样式，或者缺少多样性。生成嵌合体的数据集需要具备独特性，如戏剧性的视角、构图和灯光等。
为了解决这个问题，研究人员开发了一种用户主导的半自动方法，即从3D生物模型中创建ML训练数据集。在这个过程中，用户们将创建并获得一组3D生物模型。
具体来说，他们将用虚幻引擎制作两组纹理，并叠加在3D模型上——一组具有全彩色纹理（左图），另一组显示身体每个部位（如头，耳朵，脖子等），称为分割图（右图）。
其中，图二身体细分部分会提交给模型进行训练，以确保GAN了解各种生物身体部位的特定结构、形状、纹理和比例。
三维生物模型都被放置在一个3D场景中，并同样使用虚幻引擎。一组自动化脚本将采用这个3D场景，并在不同的姿势、视点和每个3D生物模型的缩放级别之间进行插值，创建全彩色图像和分割地图，形成 GAN的训练数据集。
使用这种方法，研究人员为每个3D生物模型生成10000多个图像+分割图对，与手动创建这些数据相比，用户每张图像可以节省大约20分钟。
生成高保真度图像
GAN的超参数大小会影响模型输出图像的质量。为了验证该模型哪个版本的性能最佳，研究团队收集并分析了模型生成不同生物类型的样本，并从中提取了一些显著特征，如深度感，有关生物纹理的样式，以及面部、眼睛的真实感等。
这些信息不仅将用于训练模型的新版本，而且能在模型生成成千上万的生物图像之后，从每种生物类别（例如瞪羚，山猫，大猩猩等）中选择最佳的图像。
具体来说，研究团队通过感知损失（ Perceptual Loss）对GAN进行了优化。该损失函数组件使用从单独的卷积神经网络（CNN）提取的特征来计算两幅图像之间的差异，该卷积神经网络之前已经对ImageNet数据集中的数百万张照片进行了训练。
从CNN的不同层提取特征，并对每个特征施加权重，这会影响特征对最终损耗值的贡献，这些权重对于确定最终生成的图像的外观至关重要。
下面是来自不同感知损失权重训练GANs的结果。
图片中的颜色变化主要是数据集导致的，其原因是数据集中的一个生物往往包含多种纹理（比如蝙蝠的红色版和灰色版），不过，忽略颜色变化，许多差异也直接与感知损失值的变化有关。
研究人员发现，特定值会产生更清晰的面部特征，使生成的生物更具真实感。
下面是一些由GAN生成的生物，它们使用了不同的感知损失权重进行训练，展示了模型可以处理一小部分输出和姿势。
在线体验
总之，对于艺术创作者或者绘画爱好者来说，Chimera Painter只需调整生物的局部形状、类型或者位置，就可轻松创建大量图像，而不是从头绘制几十种类似的生物。同时，该模型还允许使用外部程序（如Photoshop）创建的生物轮廓。
谷歌团队在博客中表示，希望这些GAN模型和Chimera Painter演示工具可以激发人们新的艺术创作思路。
那么，使用机器学习作为画笔时，你想创建什么呢？（点击链接即可体验~）
https://storage.googleapis.com/chimera-painter/index.html
https://techcrunch.com/2020/11/17/google-has-created-an-ai-powered-nightmare-creature-generator/
https://ai.googleblog.com/2020/11/using-gans-to-create-fantastical.html
雷锋网雷锋网雷锋网
