基于多特征融合的多尺度生成对抗网络图像修复算法

doi:10.11772/j.issn.1001-9081.2022010015

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (2): 536-544.DOI: 10.11772/j.issn.1001-9081.2022010015

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于多特征融合的多尺度生成对抗网络图像修复算法

陈刚¹, 廖永为¹, 杨振国¹, 刘文印¹^,²()

^1.广东工业大学计算机学院，广州 510006
^2.鹏城实验室网络空间安全研究中心，广东深圳 518005

收稿日期:2022-01-07 修回日期:2022-04-30 接受日期:2022-05-05 发布日期:2022-05-24 出版日期:2023-02-10
通讯作者: 刘文印
作者简介:陈刚（1977—），男，江西高安人，博士研究生，CCF会员，主要研究方向：人工智能、计算机视觉
廖永为（1983—），男，湖北咸宁人，博士研究生，CCF会员，主要研究方向：图像处理、目标检测、图像分割
杨振国（1988—），男，山东济南人，副教授，博士，主要研究方向：多模态机器学习、舆论检测、深度学习；
基金资助:
国家自然科学基金资助项目(62076073)

Image inpainting algorithm of multi-scale generative adversarial network based on multi-feature fusion

Gang CHEN¹, Yongwei LIAO¹, Zhenguo YANG¹, Wenying LIU¹^,²()

^1.School of Computer Science and Technology，Guangdong University of Technology，Guangzhou Guangdong 510006，China
^2.Cyberspace Security Research Center，Peng Cheng Laboratory，Shenzhen Guangdong 518005，China

Received:2022-01-07 Revised:2022-04-30 Accepted:2022-05-05 Online:2022-05-24 Published:2023-02-10
Contact: Wenying LIU
About author:CHEN Gang， born in 1977， Ph. D. candidate. His research interests include artificial intelligence， computer vision.
LIAO Yongwei， born in 1983， Ph. D. candidate. His research interests include image processing， object detection， image segmentation.
YANG Zhenguo， born in 1988， Ph. D.， associate professor. His research interests include multimodal machine learning， public opinion detection， deep learning.
Supported by:
National Natural Science Foundation of China(62076073)

摘要/Abstract

摘要：

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题，提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先，针对结构一致性差以及细节和纹理不足的问题，在传统的生成器中引入多特征融合模块（MFFM），并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力，从而改善修复图像的细节性和纹理特征；然后，在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力，从而增强了修复图像的结构一致性；最后，在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件，使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上，所提的多特征融合的图像修复算法与MANGII相比能快速收敛，同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%~8.67%和0.88%~8.06%，而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%~46.97%。实验结果表明，所提算法的修复性能优于基线算法。

关键词: 多尺度, 特征匹配, 特征融合, 图像修复, 生成对抗网络

Abstract:

Aiming at the problems in Multi-scale Generative Adversarial Networks Image Inpainting algorithm （MGANII）， such as unstable training in the process of image inpainting， poor structural consistency， insufficient details and textures of the inpainted image， an image inpainting algorithm of multi-scale generative adversarial network was proposed based on multi-feature fusion. Firstly， aiming at the problems of poor structural consistency and insufficient details and textures， a Multi-Feature Fusion Module （MFFM） was introduced in the traditional generator， and a perception-based feature reconstruction loss function was introduced to improve the ability of feature extraction in the dilated convolutional network， thereby supplying more details and texture features for the inpainted image. Then， a perception-based feature matching loss function was introduced into local discriminator to enhance the discrimination ability of the discriminator， thereby improving the structural consistency of the inpainted image. Finally， a risk penalty term was introduced into the adversarial loss function to meet the Lipschitz continuity condition， so that the network was able to converge rapidly and stably in the training process. On the dataset CelebA， compared with MANGII， the proposed multi-feature fusion image inpainting algorithm can converges faster. Meanwhile， the Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） of the images inpainted by the proposed algorithm are improved by 0.45% to 8.67% and 0.88% to 8.06% respectively compared with those of the images inpainted by the baseline algorithms， and Frechet Inception Distance score （FID） of the images inpainted by the proposed algorithm is reduced by 36.01% to 46.97% than the images inpainted by the baseline algorithms. Experimental results show that the inpainting performance of the proposed algorithm is better than that of the baseline algorithms.

Key words: multi-scale, feature matching, feature fusion, image inpainting, Generative Adversarial Network (GAN)

中图分类号:

TP391.41

陈刚, 廖永为, 杨振国, 刘文印. 基于多特征融合的多尺度生成对抗网络图像修复算法[J]. 计算机应用, 2023, 43(2): 536-544.

Gang CHEN, Yongwei LIAO, Zhenguo YANG, Wenying LIU. Image inpainting algorithm of multi-scale generative adversarial network based on multi-feature fusion[J]. Journal of Computer Applications, 2023, 43(2): 536-544.

图/表 13

图1 图像修复过程

Fig. 1 Image inpainting process

图2 基于多特征融合的多尺度生成对抗网络修复算法框架

Fig. 2 Framework of multi-scale generative adversarial network inpainting algorithm based on multi-feature fusion

图 3 多特征融合模块

Fig. 3 Multi-feature fusion module

图4 MFFM工作过程部分可视化

Fig. 4 Visualization of partial MFFM working process

图5 修复图像与原始图像对应p层的特征图

Fig. 5 Feature maps corresponding to p-layers of inpainted image and original image

表1 重构损失Lr的部分数值

Tab. 1 Partial values of reconstruction loss Lr

迭代轮次/10⁴	L_r	迭代轮次/10⁴	L_r
0	0.167	90	0.009
30	0.082	120	0.006
60	0.082

图 6 重构损失函数的收敛曲线

Fig. 6 Convergence curve of reconstruction loss function

图7 特征重构损失函数的收敛曲线

Fig. 7 Convergence curve of feature reconstruction loss function

图8 特征匹配损失函数的收敛曲线

Fig. 8 Convergence curve of feature matching loss function

图 9 对抗损失函数的收敛曲线

Fig. 9 Convergence curve of adversarial loss function

表2 不同算法的修复效果比较

Tab. 2 Comparison of inpainting effects of different algorithms

算法	PSNR/dB	SSIM	FID
CE^［11］	24.980	0.8622	6.568
GMCNN^［24］	26.123	0.9017	6.865
PENNet^［25］	26.011	0.8923	6.857
PICNet^［15］	26.425	0.9106	6.815
MGANII^［16］	27.025	0.9236	7.926
本文算法	27.146	0.9317	4.203

图10 CelebA数据集上不同算法修复的图像（面部）示例

Fig. 10 Examples of images （face） inpainted by different algorithms on CelebA dataset

图11 不同破损程度的面部图像的修复效果

Fig. 11 Inpainting effect of face images with different damage degrees

参考文献 31

1	LIU G L， REDA F A， SHIH K J， et al. Image inpainting for irregular holes using partial convolutions［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11215. Cham： Springer， 2018： 89-105.
2	CAI W W， WEI Z G. PiiGAN： generative adversarial networks for pluralistic image inpainting［J］. IEEE Access， 2020， 8： 48451-48463. 10.1109/ACCESS.2020.2979348
3	XIONG W， YU J H， LIN Z， et al. Foreground-aware image inpainting［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5833-5841. 10.1109/cvpr.2019.00599
4	WIN K N， LI K L， CHEN J G， et al. Fingerprint classification and identification algorithms for criminal investigation： a survey［J］. Future Generation Computer Systems， 2020， 110： 758-771. 10.1016/j.future.2019.10.019
5	HOU M L YANG S， HU Y G， et al. Novel method for virtual restoration of cultural relics with complex geometric structure based on multiscale spatial geometry［J］. ISPRS International Journal of Geo-Information， 2018， 7（9）： No.353. 10.3390/ijgi7090353
6	WU Q D， LI Y B， LIN Y. Medical image restoration method via multiple nonlocal prior constraints［J］. Journal of Intelligent and Fuzzy Systems， 2020， 38（1）： 5-19. 10.3233/jifs-179375
7	ZHANG M L， DESROSIERS C. High-quality image restoration using low-rank patch regularization and global structure sparsity［J］. IEEE Transactions on Image Processing， 2019， 28（2）： 868-879. 10.1109/tip.2018.2874284
8	BERTALMIO M， SAPIRO G CASELLES V， et al. Image inpainting［C］// Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 2000：417-424. 10.1145/344779.344972
9	CRIMINISI A， PÉREZ P， TOYAMA K. Region filling and object removal by exemplar-based image inpainting［J］. IEEE Transactions on Image Processing， 2004， 13（9）： 1200-1212. 10.1109/tip.2004.833105
10	BOBIN J， STRARCK J L， FADILI J M， et al. Morphological component analysis： an adaptive thresholding strategy［J］. IEEE Transactions on Image Processing， 2007， 16（11）： 2675-2681. 10.1109/tip.2007.907073
11	PATHAK D， KRÄHENBÜHL P， DONAHUE J， et al. Context Encoders： feature learning by inpainting［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2536-2544. 10.1109/cvpr.2016.278
12	IIZUKA S， SIMO-SERRA E， ISHIKAWA H. Globally and locally consistent image completion［J］. ACM Transactions on Graphics， 2017， 36（4）： No.107. 10.1145/3072959.3073659
13	WANG C Y， XU C， WANG C H， et al. Perceptual adversarial networks for image-to-image transformation［J］. IEEE Transactions on Image Processing， 2018， 27（8）： 4066-4079. 10.1109/tip.2018.2836316
14	SAGONG M C， SHIN Y G， KIM S W， et al. PEPSI： fast image inpainting with parallel decoding network［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 11352-11360. 10.1109/cvpr.2019.01162
15	ZHENG C X， CHAM T J， CAI J F. Pluralistic image completion［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1438-1447. 10.1109/cvpr.2019.00153
16	李克文，张文韬，邵明文，等. 多尺度生成式对抗网络图像修复算法［J］. 计算机科学与探索， 2020， 14（1）：159-170.
	LI K W， ZHANG W T， SHAO M W， et al. Multi-scale generative adversarial networks image inpainting algorithm［J］. Journal of Frontiers of Computer Science and Technology， 2020， 14（1）：159-170.
17	赵露露，沈玲，洪日昌. 图像修复研究进展综述［J］. 计算机科学， 2021， 48（3）：14-26. 10.11896/jsjkx.210100048
	ZHAO L L， SHEN L， HONG R C. Survey on image inpainting research progress［J］. Computer Science， 2021， 48（3）：14-26. 10.11896/jsjkx.210100048
18	XIANG C Y， CAO Y J， DUAN P S， et al. An improved exemplar-based image inpainting algorithm［C］// Proceedings of the 9th International Conference on Computer Science and Education. Piscataway： IEEE， 2014：770-775. 10.1109/iccse.2014.6926566
19	AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： an algorithm for designing overcomplete dictionaries for sparse representation［J］. IEEE Transactions on Signal Processing， 2006， 54（11）： 4311-4322. 10.1109/tsp.2006.881199
20	冯浪，张玲，张晓龙. 基于扩张卷积的图像修复［J］. 计算机应用， 2020， 40（3）：825-831. 10.11772/j.issn.1001-9081.2019081471
	FENG L， ZHANG L， ZHANG X L. Image inapinting based on dilated convolution［J］. Journal of Computer Applications， 2020， 40（3）：825-831. 10.11772/j.issn.1001-9081.2019081471
21	刘波宁，翟东海. 基于双鉴别网络的生成对抗网络图像修复方法［J］.计算机应用， 2018， 38（12）：3557-3562， 3595. 10.11772/j.issn.1001-9081.2018051097
	LIU B N， ZHAI D H. Image completion method of generative adversarial networks based on two discrimination networks［J］. Journal of Computer Applications， 2018， 38（12）：3557-3562， 3595. 10.11772/j.issn.1001-9081.2018051097
22	LIU X M， ZHAI D M， ZHOU J T， et al. Sparsity based image error concealment via adaptive dual dictionary learning and regularization［J］. IEEE Transactions on Image Processing， 2017， 26（2）： 782-796. 10.1109/tip.2016.2623481
23	XIE J Y， XU L L， CHEN E H. Image denoising and inpainting with deep neural networks［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1. Red Hook， NY： Curran Associates Inc.， 2012： 341-349.
24	WANG Y， TAO X， QI X J， et al. Image inpainting via generative multi-column convolutional neural networks［C］// Proceedings of the 32nd International Conference and Workshop on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 329-338. 10.1109/icsp.2018.8652324
25	ZENG Y H， FU J L， CHAO H Y， et al. Learning pyramid-context encoder network for high-quality image inpainting［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019：1486-1494. 10.1109/cvpr.2019.00158
26	ZHENG H， LI J， GAO X B， et al. Progressive perception-oriented network for single image super-resolution［J］. Information Sciences， 2021， 546： 769-786. 10.1016/j.ins.2020.08.114
27	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2022-03-26］..
28	JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 694-711.
29	GATYS L， ECKEKR A S， BETHGE M. Texture synthesis using convolutional neural networks［M/OL］// CORTES C， LAWRENCE N， LEE D， et al. Advances in Neural Information Processing Systems 28 （NIPS 2015）. ［2022-03-26］.. 10.1109/cvpr.2016.265
30	GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5769-5779.
31	SHEN W， LIU R J. Learning residual images for face attribute manipulation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1225-1233. 10.1109/cvpr.2017.135

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	戎妍, 刘嘉雯, 李馨蕾. 面向学生课堂情感计算的自适应混合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2919-2930.
[3]	陈彤, 杨丰玉, 熊宇, 严荭, 邱福星. 基于多尺度频率通道注意力融合的声纹库构建方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2407-2413.
[4]	邓凯丽, 魏伟波, 潘振宽. 改进掩码自编码器的工业缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2595-2603.
[5]	李晨倩, 刘俊. 基于半监督和多尺度级联注意力的超声颈动脉斑块分割方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2604-2610.
[6]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[7]	刘瑞华, 郝子赫, 邹洋杨. 基于多层级精细特征融合的步态识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2250-2257.
[8]	唐媛, 陈艳平, 扈应, 黄瑞章, 秦永彬. 基于多尺度混合注意力卷积神经网络的关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2011-2017.
[9]	施赛龙, 方智文. 基于多尺度聚合和共享注意力的注视估计模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2047-2054.
[10]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[11]	李伟, 张晓蓉, 陈鹏, 李清, 张长青. 基于正态逆伽马分布的多尺度融合人群计数算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2243-2249.
[12]	刘越, 刘芳, 武奥运, 柴秋月, 王天笑. 基于自注意力机制与图卷积的3D目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1972-1977.
[13]	王美, 苏雪松, 刘佳, 殷若南, 黄珊. 时频域多尺度交叉注意力融合的时间序列分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1842-1847.
[14]	程小辉, 黄云天, 张瑞芳. 基于多尺度和加权坐标注意力的轻量化红外道路场景检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1927-1934.
[15]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.

基于多特征融合的多尺度生成对抗网络图像修复算法

Image inpainting algorithm of multi-scale generative adversarial network based on multi-feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 31

相关文章 15

编辑推荐

Metrics