融合迭代反馈与注意力机制的图像超分辨重建方法

doi:10.11772/j.issn.1001-9081.2022060877

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (7): 2280-2287.DOI: 10.11772/j.issn.1001-9081.2022060877

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

融合迭代反馈与注意力机制的图像超分辨重建方法

梁敏(), 刘佳艺, 李杰

山西财经大学信息学院，太原 030006

收稿日期:2022-06-16 修回日期:2022-09-06 接受日期:2022-09-08 发布日期:2022-10-18 出版日期:2023-07-10
通讯作者: 梁敏
作者简介:梁敏（1979—），女，山西忻州人，副教授，博士，CCF会员，主要研究方向：图像处理、模式识别；
刘佳艺（1994—），女，安徽合肥人，硕士研究生，主要研究方向：深度学习、计算机视觉；
李杰（1986—），男，四川邛崃人，副教授，博士，CCF会员，主要研究方向：计算机视觉、三维超分辨计算。
基金资助:
山西省高等学校哲学社会科学研究项目(2021W058);山西省研究生创新项目(2021SY533)

Image super-resolution reconstruction method based on iterative feedback and attention mechanism

Min LIANG(), Jiayi LIU, Jie LI

School of Information，Shanxi University of Finance and Economics，Taiyuan Shanxi 030006，China

Received:2022-06-16 Revised:2022-09-06 Accepted:2022-09-08 Online:2022-10-18 Published:2023-07-10
Contact: Min LIANG
About author:LIANG Min， born in 1979， Ph. D.， associate professor. Her research interests include image processing， pattern recognition.
LIU Jiayi， born in 1994， M. S. candidate. Her research interests include deep learning， computer vision.
LI Jie， born in 1986， Ph. D.， associate professor. His research interests include computer vision， three-dimensional super-resolution calculation.
Supported by:
Program for the Philosophy and Social Sciences Research of Higher Learning Institutions of Shanxi(2021W058);Postgraduate Innovation Project of Shanxi Province(2021Y533)

摘要/Abstract

摘要：

针对图像超分辨重建过程中原始高清图片与低质量图像之间缺乏依赖关系、深度网络中特征图信息不分主次重构导致的图像高频信息高精度重构困难的问题，提出一种融合迭代反馈与注意力机制的单幅图像超分辨重建方法。首先使用频率分解模块分别提取图像中的高、低频信息，并将二者分别处理，使网络重点关注提取出的高频细节部分，增强方法在图像细节上的复原能力；其次通过通道注意力机制将重建的重点放在有效特征所在的特征通道上，增强网络提取特征图信息的能力；然后采用迭代反馈的思想，在反复重建和比对过程中增加图像的还原程度；最后通过重建模块生成输出图像。在Set5、Set14、BSD100、Urban100和Manga109基准数据集上的2倍、4倍和8倍放大实验中，与主流超分辨率方法相比，所提方法表现出更优越的性能。在Manga109数据集的8倍放大实验中，相较于传统插值方法和基于卷积神经网络的图像超分辨率算法（SRCNN），所提方法的峰值信噪比（PSNR）均值分别提升了约3.01 dB和2.32 dB。实验结果表明：所提方法能够降低重建过程中出现的误差，并有效重建出更精细的高分辨率图像。

关键词: 深度学习, 单幅图像超分辨重建, 迭代反馈, 注意力机制, 频率分解

Abstract:

To address the difficulties in reconstructing high-frequency information in image super-resolution reconstruction due to the lack of dependency between low-resolution and high-resolution images and the lack of order during the reconstruction of feature map， a single-image super-resolution reconstruction method based on iterative feedback and attention mechanism was proposed. Firstly， high- and low-frequency information in the image was extracted respectively by using frequency decomposition block， and the two kinds of information was processed respectively， so that the network focused on the extracted high-frequency details to increase the restoration ability of the method on image details. Secondly， through the channel-wise attention mechanism， the reconstruction focus was put on the feature channels with effective features to improve the network ability of extracting the feature map information. Thirdly， the iterative feedback idea was adopted to increase quality of the restored image in the process of repeated comparison and reconstruction. Finally， the output image was generated through the reconstruction block. The proposed method shows better performance in comparison with mainstream super-resolution methods in the 2×， 4× and 8× experiments on Set5， Set14， BSD100， Urban100 and Manga109 benchmark datasets. In the 8× experiments on Manga109 dataset， the proposed method improves Peak Signal-to-Noise Ratio （PSNR） by about 3.01 dB and 2.32 dB averagely and respectively compared to the traditional interpolation method and the Super-Resolution Convolutional Neural Network （SRCNN）. Experimental results show that the proposed method can reduce the errors in the reconstruction process and effectively reconstruct finer high-resolution images.

Key words: deep learning, single image super-resolution reconstruction, iterative feedback, attention mechanism, frequency decomposition

中图分类号:

TP391.41

梁敏, 刘佳艺, 李杰. 融合迭代反馈与注意力机制的图像超分辨重建方法[J]. 计算机应用, 2023, 43(7): 2280-2287.

Min LIANG, Jiayi LIU, Jie LI. Image super-resolution reconstruction method based on iterative feedback and attention mechanism[J]. Journal of Computer Applications, 2023, 43(7): 2280-2287.

图/表 13

参考文献 21

1	DONG C， LOY C C， HE K M， et al. Image super-resolution using deep convolutional networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307. 10.1109/tpami.2015.2439281
2	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2022-06-01］. .
3	DONG C， LOY C C， TANG X O. Accelerating the super-resolution convolutional neural network ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 391-407.
4	KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1646-1654. 10.1109/cvpr.2016.182
5	LAI W S， HUANG J B， AHUJA N， et al. Deep Laplacian pyramid networks for fast and accurate super-resolution ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5835-5843. 10.1109/cvpr.2017.618
6	HARIS M， SHAKHNAROVICH G， UKITA N. Deep back-projection networks for super-resolution ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 1664-1673. 10.1109/cvpr.2018.00179
7	HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
8	WANG F， JIANG M Q， QIAN C， et al. Residual attention network for image classification ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6450-6458. 10.1109/cvpr.2017.683
9	WANG X L， GIRSHICK R， GUPTA A， et al. Non-local neural networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7794-7803. 10.1109/cvpr.2018.00813
10	LIU D， WEN B H， FAN Y C， et al. Non-local recurrent network for image restoration ［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 1680-1689.
11	ZHANG Y L， LI K P， LI K， et al. Image super-resolution using very deep residual channel attention networks ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 294-310.
12	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Cambridge： MIT Press， 2014： 2672-2680.
13	JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 694-711.
14	LEDIG C， THEIS L， HUSZÁR F， et al. Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 105-114. 10.1109/cvpr.2017.19
15	SHI W Z， CABALLERO J， HUSZÁR F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1874-1883. 10.1109/cvpr.2016.207
16	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
17	CHANG J R， CHEN Y S. Pyramid stereo matching network ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 5410-5418. 10.1109/cvpr.2018.00567
18	ANWAR S， KHAN S， BARNES N. A deep journey into super-resolution： a survey［J］. ACM Computing Surveys， 2020， 53（3）： No.60. 10.1145/3390462
19	ANWAR S， BARNES N. Densely residual Laplacian super-resolution［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（3）： 1192-1204. 10.1109/tpami.2020.3021088
20	BELL S， UPCHURCH P， SNAVELY N， et al. Material recognition in the wild with the materials in context database ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 3479-3487. 10.1109/cvpr.2015.7298970
21	梁敏，王昊榕，张瑶，等.基于加速残差网络的图像超分辨率重建方法［J］.计算机应用， 2021， 41（5）： 1438-1444.
	LIANG M， WANG H R， ZHANG Y， et al. Image super-resolution reconstruction method based on accelerated residual network［J］. Journal of Computer Applications， 2021， 41（5）： 1438-1444.

频率分解模块	注意力模块	PSNR/dB
×	×	26.80
×	√	26.89
√	×	26.85
√	√	26.90

频率分解模块	注意力模块	PSNR/dB
×	×	26.80
×	√	26.89
√	×	26.85
√	√	26.90

λ值	PSNR/dB	λ值	PSNR/dB
0	26.30	1	25.12
0.01	27.08	10	23.41
0.1	27.03

λ值	PSNR/dB	λ值	PSNR/dB
0	26.30	1	25.12
0.01	27.08	10	23.41
0.1	27.03

算法	放大倍数	Set5		Set14		BSD100		Urban100		Manga109
算法	放大倍数	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
Bicubic	2×	33.65	0.930	30.24	0.869	29.56	0.844	26.88	0.841	30.84	0.935
SRCNN^［1］		36.66	0.954	32.45	0.906	31.36	0.888	29.52	0.895	35.72	0.968
FSRCNN^［3］		37.00	0.956	32.63	0.909	31.50	0.891	29.88	0.902	—	—
VDSR^［4］		37.74	0.959	32.97	0.913	31.90	0.896	30.77	0.914	37.16	0.974
LapSRN^［5］		37.52	0.929	33.08	0.913	31.80	0.895	31.05	0.910	37.53	0.974
ADSR^［21］		37.36	0.958	32.86	0.911	31.78	0.894	30.44	0.910	—	—
DBPN^［6］		37.60	0.959	33.18	0.914	31.94	0.897	31.20	0.918	37.57	0.974
IFANet（本文方法）		37.70	0.959	33.24	0.914	31.99	0.898	31.15	0.912	37.85	0.975
Bicubic	4×	28.42	0.810	26.10	0.702	25.96	0.667	23.15	0.657	24.92	0.789
SRCNN^［1］		30.49	0.862	27.61	0.751	26.91	0.710	24.53	0.722	27.66	0.858
FSRCNN^［3］		30.71	0.865	27.70	0.756	26.97	0.714	24.61	0.727	27.89	0.859
VDSR^［4］		31.53	0.883	28.03	0.767	27.29	0.725	25.18	0.752	28.82	0.886
SRGAN^［14］		29.46	0.838	26.60	0.718	25.74	0.666	24.50	0.736	27.79	0.856
LapSRN^［5］		31.54	0.885	28.09	0.770	27.31	0.727	25.21	0.756	29.09	0.890
ADSR^［21］		31.19	0.881	27.88	0.763	27.20	0.721	25.00	0.744	—	—
DBPN^［6］		31.76	0.887	28.39	0.778	27.48	0.733	25.71	0.772	30.22	0.902
IFANet （本文方法）		32.09	0.890	28.30	0.776	27.75	0.738	25.90	0.786	30.65	0.912
Bicubic	8×	24.39	0.657	23.19	0.568	23.67	0.547	20.74	0.515	21.68	0.649
SRCNN^［1］		25.33	0.689	23.85	0.593	24.13	0.565	21.29	0.543	22.37	0.682
FSRCNN^［3］		25.41	0.682	23.93	0.592	24.21	0.567	21.32	0.537	22.39	0.672
VDSR^［4］		25.72	0.711	24.21	0.609	24.37	0.576	21.54	0.560	22.83	0.707
SRGAN^［14］		23.04	0.626	21.57	0.495	21.78	0.442	19.64	0.468	20.42	0.625
LapSRN^［5］		26.15	0.737	24.35	0.620	24.54	0.585	21.81	0.580	23.39	0.734
ADSR^［21］		25.60	0.710	24.18	0.600	24.31	0.572	21.40	0.552	22.75	0.698
DBPN^［6］		26.43	0.748	24.39	0.623	24.60	0.589	22.01	0.592	23.97	0.756
IFANet （本文方法）		26.90	0.770	24.70	0.635	24.70	0.590	22.25	0.605	24.69	0.779

融合迭代反馈与注意力机制的图像超分辨重建方法

Image super-resolution reconstruction method based on iterative feedback and attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 21

相关文章 15

编辑推荐

Metrics

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[3]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[4]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[5]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[6]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[7]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[8]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[9]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[10]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[11]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[12]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[13]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[14]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[15]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.