基于中国写意风格迁移的动漫视频生成模型

doi:10.11772/j.issn.1001-9081.2021050836

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2162-2169.DOI: 10.11772/j.issn.1001-9081.2021050836

• 多媒体计算与计算机仿真 • 上一篇

基于中国写意风格迁移的动漫视频生成模型

毛文涛¹^,²(), 吴桂芳¹, 吴超¹, 窦智¹^,²

^1.河南师范大学计算机与信息工程学院, 河南新乡 453007
^2.智慧商务与物联网技术河南省工程实验室(河南师范大学), 河南新乡 453007

收稿日期:2021-05-21 修回日期:2021-08-27 接受日期:2021-09-16 发布日期:2022-03-08 出版日期:2022-07-10
通讯作者: 毛文涛
作者简介:吴桂芳（1997—），女，河南信阳人，主要研究方向：机器视觉、风格迁移
吴超（1998—），男，河南焦作人，硕士研究生，主要研究方向：机器学习、异常检测
窦智（1984—），男，河南新乡人，副教授，博士，主要研究方向：机器学习、目标检测。
基金资助:
国家自然科学基金资助项目(U1904123);河南省科技攻关计划项目(212102210103)

Animation video generation model based on Chinese impressionistic style transfer

Wentao MAO¹^,²(), Guifang WU¹, Chao WU¹, Zhi DOU¹^,²

^1.College of Computer and Information Engineering，Henan Normal University，Xinxiang Henan 453007，China
^2.Engineering Lab of Intelligence Business and Internet of Things of Henan Province （Henan Normal University），Xinxiang Henan 453007，China

Received:2021-05-21 Revised:2021-08-27 Accepted:2021-09-16 Online:2022-03-08 Published:2022-07-10
Contact: Wentao MAO
About author:WU Guifang， born in 1997. Her research interests include machine vision， style transfer.
WU Chao， born in 1998， M. S. candidate. His research interests include machine learning， abnormal detection.
DOU Zhi， born in 1984， Ph. D.， associate professor. His research interests include machine learning， target detection.
Supported by:
National Natural Science Foundation of China(U1904123);Key Program of Henan Province Science and Technology Project(212102210103)

摘要/Abstract

摘要：

目前生成式对抗网络（GAN）已经被用于图像的动漫风格转换。然而，现有基于GAN的动漫生成模型主要以日本动漫和美国动漫为对象，集中在写实风格的提取与生成，很少关注到中国风动漫中写意风格的迁移，因此限制了GAN在国内广大动漫制作市场中的应用。针对这一问题，通过将中国写意风格融入到GAN模型，提出了一种新的中国风动漫生成式对抗网络模型CCGAN，用以自动生成具有中国写意风格的动漫视频。首先，通过在生成器中增加反向残差块，构造了一个轻量级的深度神经网络模型，以降低视频生成的计算代价。其次，为了提取并迁移中国写意风格中图像边缘锐利、内容构造抽象、描边线条具有水墨质感等性质，在生成器中构造了灰度样式损失和颜色重建损失，以约束真实图像和中国风样例图像在风格上的高层语义一致性，并且在判别器中构造了灰度对抗损失和边缘促进对抗损失，以约束重构图像与样例图像保持相同的边缘特性。最终，采用Adam算法最小化上述损失函数，从而实现风格迁移，并将重构图像组合为视频。实验结果表明，与目前最具代表性的风格迁移模型CycleGAN与CartoonGAN相比，所提CCGAN可从以《中国唱诗班》为例的中国风动漫中有效地学习到中国写意风格，同时显著降低了计算代价，适合于大批量动漫视频的快速生成。

关键词: 生成式对抗网络, 中国风动漫, 风格迁移, 卡通, 深度神经网络

Abstract:

At present， Generative Adversarial Network （GAN） has been used for image animation style transformation. However， most of the existing GAN-based animation generation models mainly focus on the extraction and generation of realistic style with the targets of Japanese animations and American animations. Very little attention of the model is paid to the transfer of impressionistic style in Chinese-style animations， which limits the application of GAN in the domestic animation production market. To solve the problem， a new Chinese-style animation GAN model， namely Chinese Cartoon GAN （CCGAN）， was proposed for the automatic generation of animation videos with Chinese impressionistic style by integrating Chinese impressionistic style into GAN model. Firstly， by adding the inverted residual blocks into the generator， a lightweight deep neural network model was constructed to reduce the computational cost of video generation. Secondly， in order to extract and transfer the characteristics of Chinese impressionistic style， such as sharp image edges， abstract content structure and stroke lines with ink texture， the gray-scale style loss and color reconstruction loss were constructed in the generator to constrain the high-level semantic consistency in style between the real images and the Chinese-style sample images. Moreover， in the discriminator， the gray-scale adversarial loss and edge-promoting adversarial loss were constructed to constrain the reconstructed image for maintaining the same edge characteristics of the sample images. Finally， the Adam algorithm was used to minimize the above loss functions to realize style transfer， and the reconstructed images were combined into video. Experimental results show that， compared with the current representative style transfer models such as CycleGAN and CartoonGAN， the proposed CCGAN can effectively learn the Chinese impressionistic style from Chinese-style animations such as Chinese Choir and significantly reduce the computational cost， indicating that the proposed CCGAN is suitable for the rapid generation of animation videos with large quantities.

Key words: Generative Adversarial Network (GAN), Chinese-style animation, style transfer, cartoon, Deep Neural Network (DNN)

中图分类号:

TP181

毛文涛, 吴桂芳, 吴超, 窦智. 基于中国写意风格迁移的动漫视频生成模型[J]. 计算机应用, 2022, 42(7): 2162-2169.

Wentao MAO, Guifang WU, Chao WU, Zhi DOU. Animation video generation model based on Chinese impressionistic style transfer[J]. Journal of Computer Applications, 2022, 42(7): 2162-2169.

图/表 14

图1 不同动漫风格比较

Fig. 1 Comparison of different animation styles

图2 GAN模型结构

Fig. 2 Structure of GAN model

图3 CCGAN模型结构

Fig. 3 Structure of CCGAN model

图4 CCGAN中的生成器网络与判别器网络

Fig. 4 Generator network and discriminator network in CCGAN

图5 Conv-Block、DSConv、IRB的详细结构

Fig. 5 Detailed structure of Conv-Block， DSConv and IRB

图6 Down-Conv、Up-Conv的详细结构

Fig. 6 Detailed structures of Down-Conv and Up-Conv

图7 《中国唱诗班》动画图像示例

Fig. 7 Chinese Choir animation image examples

图8 对抗损失权重的定量分析

Fig. 8 Quantitative analysis of adversarial loss weight

图9 灰度样式损失权重和内容损失权重的定量分析

Fig. 9 Quantitative analysis of gray-style loss weight and content loss weight

图10 颜色重建损失权重的定量分析

Fig. 10 Quantitative analysis of color reconstruction loss weight

图11 中国写意风格迁移的结果示例

Fig. 11 Examples of results of Chinese impressionistic style transfer

图12 CCGAN采用不同训练轮次的风格迁移效果

Fig. 12 Style transfer effect by CCGAN with different epochs

图13 CycleGAN、CartoonGAN、CCGAN生成图像的效果比较

Fig. 13 Effect comparison of CycleGAN，CartoonGAN， CCGAN on image generation

表1 CartoonGAN与CCGAN的性能比较

Tab. 1 Performance comparison between CartoonGAN and CCGAN

网络	参数量/MB	生成网络大小/MB	每张平均生成时间/s
CartoonGAN	8.18	42.47	0.497 2
CCGAN	3.67	13.59	0.266 5

参考文献 21

1	GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks ［C］// Proceedings of the 2014 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
2	陈淮源，张广驰，陈高，等.基于深度学习的图像风格迁移研究进展［J］.计算机工程与应用，2021，57（11）：37-45. 10.1109/iscipt53667.2021.00104
	CHEN H Y， ZHANG G C， CHEN G， et al. Research progress of image style transfer based on deep learning ［J］. Computer Engineering and Applications， 2021， 57（11）： 37-45. 10.1109/iscipt53667.2021.00104
3	GATYS L A， ECKER A S， BETHGE M. A neural algorithm of artistic style［J］. Journal of Vision， 2016， 16（12）： Article No.326. 10.1167/16.12.326
4	GATYS L A， ECKER A S， BETHGE M. Image style transfer using convolutional neural networks ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2414-2423. 10.1109/cvpr.2016.265
5	YIN R J. Content aware neural style transfer ［EB/OL］. ［2021-03-22］.
6	WANG X， OXHOLM G， ZHANG D， et al. Multimodal transfer： a hierarchical deep convolutional neural network for fast artistic style transfer ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 7178-7186. 10.1109/cvpr.2017.759
7	NOVAK R， NIKULIN Y. Improving the neural algorithm of artistic style ［EB/OL］. ［2021-03-22］. .
8	钱小燕，肖亮，吴慧中.快速风格迁移［J］.计算机工程，2006，32（21）：15-17，46. 10.3969/j.issn.1000-3428.2006.21.006
	QIAN X Y， XIAO L， WU H Z. Fast style transfer［J］. Computer Engineering， 2006， 32（21）： 15-17， 46. 10.3969/j.issn.1000-3428.2006.21.006
9	张恩琪，顾广华，赵晨，等.生成对抗网络GAN的研究进展［J］.计算机应用研究，2021，38（4）：968-974.
	ZHANG E Q， GU G H， ZHAO C， et al. Research progress on generative adversarial network ［J］. Application Research of Computers， 2021， 38（4）： 968-974.
10	ISOLA P， ZHU J Y， ZHOU T H， et al. Image-to-image translation with conditional adversarial networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5967-5976. 10.1109/cvpr.2017.632
11	WANG T C， LIU M Y， ZHU J Y， et al. High-resolution image synthesis and semantic manipulation with conditional GANs ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8798-8807. 10.1109/cvpr.2018.00917
12	LIAO J， YAO Y， YUAN L， et al. Visual attribute transfer through deep image analogy ［J］. ACM Transactions on Graphics， 2017， 36（4）： Article No.120. 10.1145/3072959.3073683
13	ZHU J Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2242-2251. 10.1109/iccv.2017.244
14	CHEN Y， LAI Y K， LIU Y J. CartoonGAN： generative adversarial networks for photo cartoonization ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9465-9474. 10.1109/cvpr.2018.00986
15	HUANG H Z， WANG H， LUO W H， et al. Real-time neural style transfer for videos ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 7044-7052. 10.1109/cvpr.2017.745
16	PĘŚKO M， SVYSTUN A， ANDRUSZKIEWICZ P， et al. Comixify： transform video into comics ［J］. Fundamenta Informaticae， 2019， 168（2/3/4）： 311-333. 10.3233/fi-2019-1834
17	师永超，朱立军.基于GAN的图像风格迁移研究［J］.电子技术与软件工程，2020（16）：140-143.
	SHI Y C， ZHU L J. Research on image style transfer based on GAN ［J］. Electronic Technology and Software Engineering， 2020（16）： 140-143.
18	CHOLLET F. Xception： deep learning with depthwise separable convolutions ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807. 10.1109/cvpr.2017.195
19	ULYANOV D， VEDALDI A， LEMPITSKY V. Instance normalization： the missing ingredient for fast stylization ［EB/OL］. ［2021-03-22］. . 10.1109/cvpr.2017.437
20	CHEN J， LIU G， CHEN X. AnimeGAN： a novel lightweight GAN for photo animation ［C］// Proceedings of the 2019 International Symposium on Intelligence Computation and Applications， CCIS 1205. Singapore： Springer， 2019： 242-256.
21	KINGMA D P， BA J L. Adam： a method for stochastic optimization ［EB/OL］. ［2021-03-22］. .

[1]	陈荣源, 姚剑敏, 严群, 林志贤. 基于深度神经网络的视频播放速度识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2043-2051.
[2]	于蒙, 何文涛, 周绪川, 崔梦天, 吴克奇, 周文杰. 推荐系统综述[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1898-1913.
[3]	陈权, 李莉, 陈永乐, 段跃兴. 面向深度学习可解释性的对抗攻击算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 510-518.
[4]	王曙燕, 侯则昱, 孙家泽. 面向深度学习的对抗样本差异性检测方法[J]. 计算机应用, 2021, 41(7): 1849-1856.
[5]	张明明, 卢庆宁, 李文中, 宋浒. 基于联合动态剪枝的深度神经网络压缩算法[J]. 计算机应用, 2021, 41(6): 1589-1596.
[6]	张文烨, 尚方信, 郭浩. 基于Octave卷积的混合精度神经网络量化方法[J]. 计算机应用, 2021, 41(5): 1299-1304.
[7]	杨丽, 王时绘, 朱博. 基于动态和静态偏好的兴趣点推荐算法[J]. 计算机应用, 2021, 41(2): 398-406.
[8]	李慧博, 赵云霄, 白亮. 基于深度神经网络和门控循环单元的动态图表示学习方法[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3432-3437.
[9]	陈彦如, 张涂静娃, 杜千, 冉茂亮, 王红军. 基于深度森林的高铁站室内热舒适度等级预测[J]. 计算机应用, 2021, 41(1): 258-264.
[10]	李鸣, 郭晨皓, 陈星. 视觉类深度神经网络的自动标注[J]. 计算机应用, 2020, 40(6): 1593-1600.
[11]	韦伟, 李小娟. 基于相似论文增广的深度学习专利质量评估[J]. 计算机应用, 2020, 40(4): 966-971.
[12]	邓凯, 黄佳进, 秦进. 基于物品的统一推荐模型[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 530-534.
[13]	樊琦, 李卓, 陈昕. 基于边缘计算的分支神经网络模型推断延迟优化[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 342-346.
[14]	杨坚伟, 严群, 姚剑敏, 林志贤. 基于深度神经网络的移动端人像分割[J]. 计算机应用, 2020, 40(12): 3644-3650.
[15]	樊玮, 段博坤, 黄睿, 刘挺, 张宁. 基于风格迁移的交互式航空发动机孔探图像扩展方法[J]. 计算机应用, 2020, 40(12): 3631-3636.

基于中国写意风格迁移的动漫视频生成模型

Animation video generation model based on Chinese impressionistic style transfer

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 21

相关文章 15

编辑推荐

Metrics