博士后|博士后小姐姐把“二次元老婆生成器”升级了：这一次可以指定画风

梦晨发自凹非寺量子位报道 | 公众号 QbitAI
用GAN（生成对抗网络）制作卡通人物形象的研究，相信大家已见过不少。
但这一次新出炉的AniGAN，可以让你指定任意画风！
只需一张真实人物照片，加上一张你喜欢的画师作品做为参考，就能在保留原照片发型、五官等形状特征的同时，迁移成相应的画风。
拿来做头像是不是很棒？

文章插图
又双叒叕一款GAN？这次更强！
AniGAN团队认为，之前的二次元人物生成算法有两大问题。
要么不能很好模仿参考图的画风，要么会过于强调保留原始照片的形状，却并不适合二次元人物的风格，造成不符合审美的扭曲与瑕疵。
通过对比可以看出，AniGAN生成的结果在模仿参考图颜色、材质，以及将原始特征转换成适合二次元方面都更出色。

文章插图
下图使用了更大的数据集，包含更多样的色彩、线条、材质、发型及五官特征。

文章插图
新的生成器架构
为了在转换形状特征的同时进行风格迁移，AniGAN团队提出了新的生成器架构。
不同于以往使用残差块（Residual Blocks）在生成器的瓶颈层注入风格信息的方法。
AniGAN提出了自适应堆栈卷积块（Adaptive Stack Convolutional Block）和细粒度风格转移块（ Fine-grained Style Transfer Block），以下简称为ASC块和FST块。

文章插图
ASC块由卷积层、激活层和归一化层组成。
在以往使用残差块时，可能会忽略一些风格信息，如在下面例子中将右眼都错误地生成为棕色。

文章插图
FST块由上采样层，卷积层和归一化层组成。
风格数据会在上采样层之后而不是瓶颈层注入，负责把局部形状特征也处理成一种风格数据，并转换成对应的二次元形状。
去掉FST块的情况下，生成图像的面部特征并不适应二次元风格。

文章插图
两种新的归一化函数
以往的AdaLIN归一化函数会将实例归一化（IN）和层归一化（LN）按channel结合在一起，而忽略了channel间的相互关系。因此不能胜任迁移风格同时转换特征的任务。
AniGAN团队提出了点状层实例归一化（point-wise layer instance normalization）和适应性点状层实例归一化（ adaptive point-wise layer instance normalization ），以下简称PoLIN和AdaPoLIN。

文章插图

文章插图
PoLIN和AdaPoLIN会将所有channel的IN与LN结合在一起。

文章插图
从左至右为(a)参考图像，(b)原始照片，(c)-(f)为去掉PoLin或AdaPolin的各种组合的消融实验，(g)为正式效果
双分支鉴别器（Double-branch Discriminator）
二次元人脸与真实人脸既有很大不同，又都是关于人脸。在研究中称作领域X和领域Y。

博士后|博士后小姐姐把“二次元老婆生成器”升级了：这一次可以指定画风

相关经验推荐

无机铜制剂农药有哪些，和有机铜农药的区别

炉石传说金币怎么用这三个用法可供参考

重庆麻辣鸡保存方法重庆麻辣鸡块怎么做的

孕妇补血补气如何吃才好的快孕妇补血补气如何吃才好

小炒牛肉怎么弄好吃简单又好吃的小炒牛肉做法介绍

激光捕鱼怎么赚金币？激光捕鱼赚金币方式介绍

钉螺能吃吗

植物生产类哪个专业好就业前景怎么样

苄嘧磺隆对水稻安全吗，和吡嘧磺隆有什么区别

2023昆山市积分入学初审材料昆山积分入学申请

裙子配裤子小技巧如何裙子配裤子

买房子后多久可以贷公积金买房多久后可以使用公积金还款

暂停! 让我查攻略|我30岁了还能拯救世界吗？国创新番《暂停！让我查攻略》告诉你

和平精英专属皮肤怎么获得（和平精英史上最稀有的四款皮肤）

红宝石保底多少钱王者荣耀红宝石抽奖多少钱一次

互联网时代|小孩子为什么喜欢奥特曼？奥特曼是如何成为一代又一代人的经典？

一周岁宝宝主食有哪些

荒岛求生抵御入侵荒岛求生如何防御野兽入侵

前三个月孕妇练瑜伽的好处孕妇练瑜伽的好处介绍

流川枫|不良人4：蚩梦统领万毒窟，尤川拿下十二峒，老李成终成不良帅！