基于多特征融合的多尺度生成对抗网络图像修复算法

doi:10.11772/j.issn.1001-9081.2022010015

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (2): 536-544.DOI: 10.11772/j.issn.1001-9081.2022010015

• 多媒体计算与计算机仿真 • 上一篇

基于多特征融合的多尺度生成对抗网络图像修复算法

陈刚¹, 廖永为¹, 杨振国¹, 刘文印¹^,²()

^1.广东工业大学计算机学院，广州 510006
^2.鹏城实验室网络空间安全研究中心，广东深圳 518005

收稿日期:2022-01-07 修回日期:2022-04-30 接受日期:2022-05-05 发布日期:2022-05-24 出版日期:2023-02-10
通讯作者: 刘文印
作者简介:陈刚（1977—），男，江西高安人，博士研究生，CCF会员，主要研究方向：人工智能、计算机视觉
廖永为（1983—），男，湖北咸宁人，博士研究生，CCF会员，主要研究方向：图像处理、目标检测、图像分割
杨振国（1988—），男，山东济南人，副教授，博士，主要研究方向：多模态机器学习、舆论检测、深度学习；
基金资助:
国家自然科学基金资助项目(62076073)

Image inpainting algorithm of multi-scale generative adversarial network based on multi-feature fusion

Gang CHEN¹, Yongwei LIAO¹, Zhenguo YANG¹, Wenying LIU¹^,²()

^1.School of Computer Science and Technology，Guangdong University of Technology，Guangzhou Guangdong 510006，China
^2.Cyberspace Security Research Center，Peng Cheng Laboratory，Shenzhen Guangdong 518005，China

Received:2022-01-07 Revised:2022-04-30 Accepted:2022-05-05 Online:2022-05-24 Published:2023-02-10
Contact: Wenying LIU
About author:CHEN Gang， born in 1977， Ph. D. candidate. His research interests include artificial intelligence， computer vision.
LIAO Yongwei， born in 1983， Ph. D. candidate. His research interests include image processing， object detection， image segmentation.
YANG Zhenguo， born in 1988， Ph. D.， associate professor. His research interests include multimodal machine learning， public opinion detection， deep learning.
Supported by:
National Natural Science Foundation of China(62076073)

摘要/Abstract

摘要：

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题，提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先，针对结构一致性差以及细节和纹理不足的问题，在传统的生成器中引入多特征融合模块（MFFM），并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力，从而改善修复图像的细节性和纹理特征；然后，在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力，从而增强了修复图像的结构一致性；最后，在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件，使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上，所提的多特征融合的图像修复算法与MANGII相比能快速收敛，同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%~8.67%和0.88%~8.06%，而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%~46.97%。实验结果表明，所提算法的修复性能优于基线算法。

关键词: 多尺度, 特征匹配, 特征融合, 图像修复, 生成对抗网络

Abstract:

Aiming at the problems in Multi-scale Generative Adversarial Networks Image Inpainting algorithm （MGANII）， such as unstable training in the process of image inpainting， poor structural consistency， insufficient details and textures of the inpainted image， an image inpainting algorithm of multi-scale generative adversarial network was proposed based on multi-feature fusion. Firstly， aiming at the problems of poor structural consistency and insufficient details and textures， a Multi-Feature Fusion Module （MFFM） was introduced in the traditional generator， and a perception-based feature reconstruction loss function was introduced to improve the ability of feature extraction in the dilated convolutional network， thereby supplying more details and texture features for the inpainted image. Then， a perception-based feature matching loss function was introduced into local discriminator to enhance the discrimination ability of the discriminator， thereby improving the structural consistency of the inpainted image. Finally， a risk penalty term was introduced into the adversarial loss function to meet the Lipschitz continuity condition， so that the network was able to converge rapidly and stably in the training process. On the dataset CelebA， compared with MANGII， the proposed multi-feature fusion image inpainting algorithm can converges faster. Meanwhile， the Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） of the images inpainted by the proposed algorithm are improved by 0.45% to 8.67% and 0.88% to 8.06% respectively compared with those of the images inpainted by the baseline algorithms， and Frechet Inception Distance score （FID） of the images inpainted by the proposed algorithm is reduced by 36.01% to 46.97% than the images inpainted by the baseline algorithms. Experimental results show that the inpainting performance of the proposed algorithm is better than that of the baseline algorithms.

Key words: multi-scale, feature matching, feature fusion, image inpainting, Generative Adversarial Network (GAN)

中图分类号:

TP391.41

陈刚, 廖永为, 杨振国, 刘文印. 基于多特征融合的多尺度生成对抗网络图像修复算法[J]. 计算机应用, 2023, 43(2): 536-544.

Gang CHEN, Yongwei LIAO, Zhenguo YANG, Wenying LIU. Image inpainting algorithm of multi-scale generative adversarial network based on multi-feature fusion[J]. Journal of Computer Applications, 2023, 43(2): 536-544.

图/表 13

图1 图像修复过程

Fig. 1 Image inpainting process

图2 基于多特征融合的多尺度生成对抗网络修复算法框架

Fig. 2 Framework of multi-scale generative adversarial network inpainting algorithm based on multi-feature fusion

图 3 多特征融合模块

Fig. 3 Multi-feature fusion module

图4 MFFM工作过程部分可视化

Fig. 4 Visualization of partial MFFM working process

图5 修复图像与原始图像对应p层的特征图

Fig. 5 Feature maps corresponding to p-layers of inpainted image and original image

表1 重构损失Lr的部分数值

Tab. 1 Partial values of reconstruction loss Lr

迭代轮次/10⁴	L_r	迭代轮次/10⁴	L_r
0	0.167	90	0.009
30	0.082	120	0.006
60	0.082

图 6 重构损失函数的收敛曲线

Fig. 6 Convergence curve of reconstruction loss function

图7 特征重构损失函数的收敛曲线

Fig. 7 Convergence curve of feature reconstruction loss function

图8 特征匹配损失函数的收敛曲线

Fig. 8 Convergence curve of feature matching loss function

图 9 对抗损失函数的收敛曲线

Fig. 9 Convergence curve of adversarial loss function

表2 不同算法的修复效果比较

Tab. 2 Comparison of inpainting effects of different algorithms

算法	PSNR/dB	SSIM	FID
CE^［11］	24.980	0.8622	6.568
GMCNN^［24］	26.123	0.9017	6.865
PENNet^［25］	26.011	0.8923	6.857
PICNet^［15］	26.425	0.9106	6.815
MGANII^［16］	27.025	0.9236	7.926
本文算法	27.146	0.9317	4.203

图10 CelebA数据集上不同算法修复的图像（面部）示例

Fig. 10 Examples of images （face） inpainted by different algorithms on CelebA dataset

图11 不同破损程度的面部图像的修复效果

Fig. 11 Inpainting effect of face images with different damage degrees

参考文献 31

1	LIU G L， REDA F A， SHIH K J， et al. Image inpainting for irregular holes using partial convolutions［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11215. Cham： Springer， 2018： 89-105.
2	CAI W W， WEI Z G. PiiGAN： generative adversarial networks for pluralistic image inpainting［J］. IEEE Access， 2020， 8： 48451-48463. 10.1109/ACCESS.2020.2979348
3	XIONG W， YU J H， LIN Z， et al. Foreground-aware image inpainting［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5833-5841. 10.1109/cvpr.2019.00599
4	WIN K N， LI K L， CHEN J G， et al. Fingerprint classification and identification algorithms for criminal investigation： a survey［J］. Future Generation Computer Systems， 2020， 110： 758-771. 10.1016/j.future.2019.10.019
5	HOU M L YANG S， HU Y G， et al. Novel method for virtual restoration of cultural relics with complex geometric structure based on multiscale spatial geometry［J］. ISPRS International Journal of Geo-Information， 2018， 7（9）： No.353. 10.3390/ijgi7090353
6	WU Q D， LI Y B， LIN Y. Medical image restoration method via multiple nonlocal prior constraints［J］. Journal of Intelligent and Fuzzy Systems， 2020， 38（1）： 5-19. 10.3233/jifs-179375
7	ZHANG M L， DESROSIERS C. High-quality image restoration using low-rank patch regularization and global structure sparsity［J］. IEEE Transactions on Image Processing， 2019， 28（2）： 868-879. 10.1109/tip.2018.2874284
8	BERTALMIO M， SAPIRO G CASELLES V， et al. Image inpainting［C］// Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 2000：417-424. 10.1145/344779.344972
9	CRIMINISI A， PÉREZ P， TOYAMA K. Region filling and object removal by exemplar-based image inpainting［J］. IEEE Transactions on Image Processing， 2004， 13（9）： 1200-1212. 10.1109/tip.2004.833105
10	BOBIN J， STRARCK J L， FADILI J M， et al. Morphological component analysis： an adaptive thresholding strategy［J］. IEEE Transactions on Image Processing， 2007， 16（11）： 2675-2681. 10.1109/tip.2007.907073
11	PATHAK D， KRÄHENBÜHL P， DONAHUE J， et al. Context Encoders： feature learning by inpainting［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2536-2544. 10.1109/cvpr.2016.278
12	IIZUKA S， SIMO-SERRA E， ISHIKAWA H. Globally and locally consistent image completion［J］. ACM Transactions on Graphics， 2017， 36（4）： No.107. 10.1145/3072959.3073659
13	WANG C Y， XU C， WANG C H， et al. Perceptual adversarial networks for image-to-image transformation［J］. IEEE Transactions on Image Processing， 2018， 27（8）： 4066-4079. 10.1109/tip.2018.2836316
14	SAGONG M C， SHIN Y G， KIM S W， et al. PEPSI： fast image inpainting with parallel decoding network［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 11352-11360. 10.1109/cvpr.2019.01162
15	ZHENG C X， CHAM T J， CAI J F. Pluralistic image completion［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1438-1447. 10.1109/cvpr.2019.00153
16	李克文，张文韬，邵明文，等. 多尺度生成式对抗网络图像修复算法［J］. 计算机科学与探索， 2020， 14（1）：159-170.
	LI K W， ZHANG W T， SHAO M W， et al. Multi-scale generative adversarial networks image inpainting algorithm［J］. Journal of Frontiers of Computer Science and Technology， 2020， 14（1）：159-170.
17	赵露露，沈玲，洪日昌. 图像修复研究进展综述［J］. 计算机科学， 2021， 48（3）：14-26. 10.11896/jsjkx.210100048
	ZHAO L L， SHEN L， HONG R C. Survey on image inpainting research progress［J］. Computer Science， 2021， 48（3）：14-26. 10.11896/jsjkx.210100048
18	XIANG C Y， CAO Y J， DUAN P S， et al. An improved exemplar-based image inpainting algorithm［C］// Proceedings of the 9th International Conference on Computer Science and Education. Piscataway： IEEE， 2014：770-775. 10.1109/iccse.2014.6926566
19	AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： an algorithm for designing overcomplete dictionaries for sparse representation［J］. IEEE Transactions on Signal Processing， 2006， 54（11）： 4311-4322. 10.1109/tsp.2006.881199
20	冯浪，张玲，张晓龙. 基于扩张卷积的图像修复［J］. 计算机应用， 2020， 40（3）：825-831. 10.11772/j.issn.1001-9081.2019081471
	FENG L， ZHANG L， ZHANG X L. Image inapinting based on dilated convolution［J］. Journal of Computer Applications， 2020， 40（3）：825-831. 10.11772/j.issn.1001-9081.2019081471
21	刘波宁，翟东海. 基于双鉴别网络的生成对抗网络图像修复方法［J］.计算机应用， 2018， 38（12）：3557-3562， 3595. 10.11772/j.issn.1001-9081.2018051097
	LIU B N， ZHAI D H. Image completion method of generative adversarial networks based on two discrimination networks［J］. Journal of Computer Applications， 2018， 38（12）：3557-3562， 3595. 10.11772/j.issn.1001-9081.2018051097
22	LIU X M， ZHAI D M， ZHOU J T， et al. Sparsity based image error concealment via adaptive dual dictionary learning and regularization［J］. IEEE Transactions on Image Processing， 2017， 26（2）： 782-796. 10.1109/tip.2016.2623481
23	XIE J Y， XU L L， CHEN E H. Image denoising and inpainting with deep neural networks［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume 1. Red Hook， NY： Curran Associates Inc.， 2012： 341-349.
24	WANG Y， TAO X， QI X J， et al. Image inpainting via generative multi-column convolutional neural networks［C］// Proceedings of the 32nd International Conference and Workshop on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 329-338. 10.1109/icsp.2018.8652324
25	ZENG Y H， FU J L， CHAO H Y， et al. Learning pyramid-context encoder network for high-quality image inpainting［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019：1486-1494. 10.1109/cvpr.2019.00158
26	ZHENG H， LI J， GAO X B， et al. Progressive perception-oriented network for single image super-resolution［J］. Information Sciences， 2021， 546： 769-786. 10.1016/j.ins.2020.08.114
27	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2022-03-26］..
28	JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 694-711.
29	GATYS L， ECKEKR A S， BETHGE M. Texture synthesis using convolutional neural networks［M/OL］// CORTES C， LAWRENCE N， LEE D， et al. Advances in Neural Information Processing Systems 28 （NIPS 2015）. ［2022-03-26］.. 10.1109/cvpr.2016.265
30	GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5769-5779.
31	SHEN W， LIU R J. Learning residual images for face attribute manipulation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1225-1233. 10.1109/cvpr.2017.135

[1]	王萍, 陈楠, 鲁磊. 基于场景先验及注意力引导的跌倒检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 529-535.
[2]	荀亚玲, 王林青, 蔡江辉, 杨海峰. 基于多尺度的时序数据部分周期模式增量挖掘[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 391-397.
[3]	刘拥民, 杨钰津, 罗皓懿, 黄浩, 谢铁强. 基于双向循环生成对抗网络的无线传感网入侵检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 160-168.
[4]	林洋平, 刘佳, 陈培, 张明书, 杨晓元. 基于深度卷积生成对抗网络的半生成式视频隐写方案[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 169-175.
[5]	杨洪刚, 陈洁洁, 徐梦飞. 双线性内卷神经网络用于眼底疾病图像分类[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 259-264.
[6]	吕玉超, 姜茜, 徐英豪, 朱习军. 基于多尺度特征融合的改进臂丛神经分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 273-279.
[7]	胡紫琪, 谢凯, 文畅, 李美然, 贺建飚. 生成对抗网络下的低剂量CT图像增强[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 280-288.
[8]	李克文, 杨建涛, 黄宗超. 基于边界极限点特征的改进YOLOv3目标检测[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 81-87.
[9]	衡红军, 徐天宝. 基于多尺度卷积和门控机制的注意力情感分析模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2674-2679.
[10]	强赞霞, 鲍先富. 基于卷积长短期记忆的残差注意力去雨网络[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2858-2864.
[11]	魏海云, 郑茜颖, 俞金玲. 基于多尺度网络的运动模糊图像复原算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2838-2844.
[12]	张文涛, 王园宇, 李赛泽. 基于条件对抗网络的单幅霾图像深度估计模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2865-2875.
[13]	孟昱煜, 郭静. 信息熵改进主成分分析模型的链路预测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2823-2829.
[14]	张丽莹, 庞春江, 王新颖, 李国亮. 基于改进YOLOv3的多尺度目标检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2423-2431.
[15]	玄英律, 万源, 陈嘉慧. 基于多尺度卷积和注意力机制的LSTM时间序列分类[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2343-2352.

基于多特征融合的多尺度生成对抗网络图像修复算法

Image inpainting algorithm of multi-scale generative adversarial network based on multi-feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 31

相关文章 15

编辑推荐

Metrics