基于并联卷积与残差网络的图像超分辨率重建

doi:10.11772/j.issn.1001-9081.2021050742

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1570-1576.DOI: 10.11772/j.issn.1001-9081.2021050742

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于并联卷积与残差网络的图像超分辨率重建

王汇丰, 徐岩(), 魏一铭, 王会真

兰州交通大学电子与信息工程学院，兰州 730070

收稿日期:2021-05-10 修回日期:2021-09-09 接受日期:2021-10-14 发布日期:2022-03-08 出版日期:2022-05-10
通讯作者: 徐岩
作者简介:王汇丰（1995—），男，甘肃天水人，硕士研究生，CCF会员，主要研究方向：计算机视觉、图像处理
徐岩（1963—），男，甘肃兰州人，教授，硕士，主要研究方向：语音信号处理、图像处理 xuyan@mail.lzjtu.cn
魏一铭（1995—），男，河南郑州人，硕士研究生，主要研究方向：计算机视觉、图像处理
王会真（1996—），女，甘肃白银人，硕士研究生，主要研究方向：文本处理。
基金资助:
国家自然科学基金资助项目(62063014)

Image super-resolution reconstruction based on parallel convolution and residual network

Huifeng WANG, Yan XU(), Yiming WEI, Huizhen WANG

School of Electronic and Information Engineering，Lanzhou Jiaotong University，Lanzhou Gansu 730070，China

Received:2021-05-10 Revised:2021-09-09 Accepted:2021-10-14 Online:2022-03-08 Published:2022-05-10
Contact: Yan XU
About author:WANG Huifeng， born in 1995，M. S. candidate. His researchinterests include computer vision，image processing.
XU Yan， born in 1963，M. S.，professor. His research interestsinclude speech signal processing，image processing.
WEI Yiming， born in 1995， M. S. candidate. His researchinterests include computer vision，image processing.
WANG Huizhen， born in 1996，M. S. candidate. Her researchinterests include text processing.
Supported by:
National Natural Science Foundation of China(62063014)

摘要/Abstract

摘要：

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值，然而对图像感知效果和客观评价值的均衡提升效果不佳，且重建图像缺乏高频信息，导致纹理模糊。针对上述问题，提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先，以并联结构为整体框架，在并联结构上采用不同卷积组合来丰富特征信息，并加入跳跃连接来进一步丰富特征信息并融合输出，从而提取更多的高频信息。其次，引入自适应残差网络以补充信息并优化网络性能。最后，采用感知损失来提升恢复后图像的整体质量。实验结果表明，相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法，所提算法在重建图像上有更好的表现，其放大效果图的细节纹理更清晰。在客观评价上，所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。

关键词: 视觉效果, 超分辨率重建, 并联结构, 残差网络, 感知损失

Abstract:

The existing image super-resolution reconstruction algorithms can improve the overall visual effect of the image or promote the objective evaluation value of the reconstructed image， but have poor balanced improvement effect of image perception effect and objective evaluation value， and the reconstructed images lack high-frequency information， resulting in texture blur. Aiming at the above problems， an image super-resolution reconstruction algorithm based on parallel convolution and residual network was proposed. Firstly， taking the parallel structure as the overall framework， different convolution combinations were used on the parallel structure to enrich the feature information， and the jump connection was added to further enrich the feature information and fuse the output to extract more high-frequency information. Then， an adaptive residual network was introduced to supplement information and optimize network performance. Finally， perceptual loss was used to improve the overall quality of the restored image. Experimental results show that， compared with the algorithms such as Super-Resolution Convolutional Neural Network （SRCNN）， Very Deep convolutional network for Super-Resolution （VDSR） and Super-Resolution Generative Adversarial Network （SRGAN）， the proposed algorithm has better performance in image reconstruction and has clearer detail texture of the enlarged effect image. In the objective evaluation， the Peak Signal-To-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） of the proposed algorithm in $× 4$ reconstruction are improved by 0.25 dB and 0.019 averagely and respectively compared with those of SRGAN.

Key words: visual effect, super-resolution reconstruction, parallel structure, residual network, perceptual loss

中图分类号:

TP391

王汇丰, 徐岩, 魏一铭, 王会真. 基于并联卷积与残差网络的图像超分辨率重建[J]. 计算机应用, 2022, 42(5): 1570-1576.

Huifeng WANG, Yan XU, Yiming WEI, Huizhen WANG. Image super-resolution reconstruction based on parallel convolution and residual network[J]. Journal of Computer Applications, 2022, 42(5): 1570-1576.

图/表 13

参考文献 22

1	SHI W Z， CABALLERO J， LEDIG C， et al. Cardiac image super-resolution with global correspondence using multi-atlas PatchMatch ［C］// Proceedings of the 2013 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 8151. Berlin： Springer， 2013： 9-16.
2	HU M G， WANG J F， GE Y. Super-resolution reconstruction of remote sensing images using multifractal analysis ［J］. Sensors， 2009， 9（11）： 8669-8683. 10.3390/s91108669
3	ZHU S Y， ZENG B， LIU G H， et al. Image interpolation based on non-local geometric similarities ［C］// Proceedings of the 2015 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2015： 1-6. 10.1109/icme.2015.7177417
4	SCHULTZ R R， STEVENSON R L. Extraction of high-resolution frames from video sequences ［J］. IEEE Transactions on Image Processing， 1996， 5（6）： 996-1011. 10.1109/83.503915
5	PELEG T， ELAD M. A statistical prediction model based on sparse representations for single image super-resolution ［J］. IEEE Transactions on Image Processing， 2014， 23（6）： 2569-2582. 10.1109/tip.2014.2305844
6	DONG C， LOY C C， HE K M， et al. Learning a deep convolutional network for image super-resolution ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8692. Cham： Springer， 2014： 184-199.
7	KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1646-1654. 10.1109/cvpr.2016.182
8	LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1132-1140. 10.1109/cvprw.2017.151
9	ZHANG Y L， TIAN Y P， KONG Y， et al. Residual dense network for image super-resolution ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2472-2481. 10.1109/cvpr.2018.00262
10	梁敏，王昊榕，张瑶，等.基于加速残差网络的图像超分辨率重建方法［J］.计算机应用，2021，41（5）：1438-1444. 10.11772/j.issn.1001-9081.2020091520
	LIANG M， WANG H R， ZHANG Y， et al. Image super-resolution reconstruction method based on accelerated residual network ［J］. Journal of Computer Applications， 2021， 41（5）： 1438-1444. 10.11772/j.issn.1001-9081.2020091520
11	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
12	唐艳秋，潘泓，朱亚平，等.图像超分辨率重建研究综述［J］.电子学报，2020，48（7）：1407-1420. 10.3969/j.issn.0372-2112.2020.07.022
	TANG Y Q， PAN H， ZHU Y P， et al. A survey of image super-resolution reconstruction ［J］. Acta Electronica Sinica， 2020， 48（7）： 1407-1420. 10.3969/j.issn.0372-2112.2020.07.022
13	ABUDU RAHIMAN V， GEORGE S N. Single image super resolution using neighbor embedding and statistical prediction model ［J］. Computers and Electrical Engineering， 2017， 62（1）： 281-292. 10.1016/j.compeleceng.2016.12.018
14	ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations ［C］// Proceedings of the 2010 International Conference on Curves and Surfaces， LNCS 6920. Berlin： Springer， 2010： 711-730.
15	MARTIN D， FOWLKES C， TAL D， et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics ［C］// Proceedings of the 2001 8th IEEE International Conference on Computer Vision. Piscataway： IEEE， 2001： 416-423. 10.1109/iccv.2001.937655
16	HUANG J B， SINGH A， AHUJA N. Single image super-resolution from transformed self-exemplars ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 5197-5206. 10.1109/cvpr.2015.7299156
17	PEREYRA M， SCHNITER P， CHOUZENOUX É， et al. A survey of stochastic simulation and optimization methods in signal processing ［J］. IEEE Journal of Selected Topics in Signal Processing， 2016， 10（2）： 224-241. 10.1109/jstsp.2015.2496908
18	YUAN Y， LIU S Y， ZHANG J W， et al. Unsupervised image super-resolution using cycle-in-cycle generative adversarial networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2018： 814-823. 10.1109/cvprw.2018.00113
19	LEDIG C， THEIS L， HUSZÁR F， et al. Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 105-114. 10.1109/cvpr.2017.19
20	南方哲，钱育蓉，行艳妮，等.基于深度学习的单图像超分辨率重建研究综述［J］.计算机应用研究，2020，37（2）：321-326. 10.19734/j.issn.1001-3695.2018.10.0610
	NAN F Z， QIAN Y R， XING Y N， et al. Survey of single image super resolution based on deep learning ［J］. Application Research of Computers， 2020， 37（2）： 321-326. 10.19734/j.issn.1001-3695.2018.10.0610
21	刘月峰，杨涵晰，蔡爽，等.基于改进卷积神经网络的单幅图像超分辨率重建方法［J］.计算机应用，2019，39（5）：1440-1447. 10.11772/j.issn.1001-9081.2018091887
	LIU Y F， YANG H X， CAI S， et al. Single image super-resolution reconstruction method based on improved convolutional neural network ［J］. Journal of Computer Applications， 2019， 39（5）： 1440-1447. 10.11772/j.issn.1001-9081.2018091887
22	WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612. 10.1016/j.jvcir.2019.102655

Layer_name	Kernel_size	Input_channel	Output_channel
FEM1	（3，3）	3	32
	（3，3）	32	32
	（3，3）	32	32
	（3，3）	32	32
FEM2	（3，3）	3	32
	（5，5）	32	32
	（3，3）	32	32
	（1，1）	3	3
ARM1	（3，3）	3	3
ARM2	（3，3）	3	3
Conv1	（3，3）	131	3
Conv2	（3，3）	99	3
Conv2	（3，3）	3	3
Conv3	（3，3）	3	3
Conv4	（3，3）	6	3
Upconv	（3，3）	3	3

Layer_name	Kernel_size	Input_channel	Output_channel
FEM1	（3，3）	3	32
	（3，3）	32	32
	（3，3）	32	32
	（3，3）	32	32
FEM2	（3，3）	3	32
	（5，5）	32	32
	（3，3）	32	32
	（1，1）	3	3
ARM1	（3，3）	3	3
ARM2	（3，3）	3	3
Conv1	（3，3）	131	3
Conv2	（3，3）	99	3
Conv2	（3，3）	3	3
Conv3	（3，3）	3	3
Conv4	（3，3）	6	3
Upconv	（3，3）	3	3

算法	Set5		Set14		BSD100		Urban100
算法	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
Bicubic	33.59	0.938	30.21	0.866	29.54	0.841	26.85	0.837
SRCNN	36.56	0.945	32.42	0.906	31.34	0.887	29.45	0.894
VDSR	37.51	0.951	32.99	0.913	31.92	0.898	30.75	0.916
SRGAN	37.91	0.936	33.24	0.901	32.03	0.904	31.42	0.925
文献［21］算法	36.77	0.958	32.52	0.907	31.76	0.901	30.64	0.919
本文算法	37.85	0.959	33.36	0.910	32.85	0.901	31.95	0.928

算法	Set5		Set14		BSD100		Urban100
算法	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
Bicubic	33.59	0.938	30.21	0.866	29.54	0.841	26.85	0.837
SRCNN	36.56	0.945	32.42	0.906	31.34	0.887	29.45	0.894
VDSR	37.51	0.951	32.99	0.913	31.92	0.898	30.75	0.916
SRGAN	37.91	0.936	33.24	0.901	32.03	0.904	31.42	0.925
文献［21］算法	36.77	0.958	32.52	0.907	31.76	0.901	30.64	0.919
本文算法	37.85	0.959	33.36	0.910	32.85	0.901	31.95	0.928

算法	Set5		Set14		BSD100		Urban100
算法	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
Bicubic	30.40	0.868	27.47	0.778	27.20	0.739	24.46	0.741
SRCNN	32.67	0.909	29.24	0.820	28.38	0.787	26.23	0.799
VDSR	33.65	0.921	29.77	0.831	28.81	0.796	27.13	0.827
SRGAN	33.95	0.902	29.85	0.827	28.94	0.807	27.82	0.836
文献［21］算法	32.89	0.913	29.41	0.828	28.74	0.801	27.03	0.822
本文算法	33.98	0.931	30.30	0.842	29.34	0.821	28.20	0.864

基于并联卷积与残差网络的图像超分辨率重建

Image super-resolution reconstruction based on parallel convolution and residual network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 22

相关文章 15

编辑推荐

Metrics

[1]	张晔, 刘蓉, 刘明, 陈明. 基于多通道注意力机制的图像超分辨率重建网络[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1563-1569.
[2]	包银鑫, 曹阳, 施佺. 基于改进时空残差卷积神经网络的城市路网短时交通流预测[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 258-264.
[3]	王贺兵, 张春梅. 基于非对称卷积-压缩激发-次代残差网络的人脸关键点检测[J]. 计算机应用, 2021, 41(9): 2741-2747.
[4]	刘世泽, 朱奕达, 陈润泽, 罗海勇, 赵方, 孙艺, 王宝会. 基于残差时域注意力神经网络的交通模式识别算法[J]. 计算机应用, 2021, 41(6): 1557-1565.
[5]	刘世泽, 秦艳君, 王晨星, 高存远, 罗海勇, 赵方, 王宝会. 基于多尺度特征提取的交通模式识别算法[J]. 计算机应用, 2021, 41(6): 1573-1580.
[6]	牛康力, 谌雨章, 沈君凤, 曾张帆, 潘永才, 王绎冲. 基于深度学习的双通道夜视图像复原方法[J]. 计算机应用, 2021, 41(6): 1775-1784.
[7]	梁敏, 王昊榕, 张瑶, 李杰. 基于加速残差网络的图像超分辨率重建方法[J]. 计算机应用, 2021, 41(5): 1438-1444.
[8]	段友祥, 张含笑, 孙歧峰, 孙友凯. 基于拉普拉斯金字塔生成对抗网络的图像超分辨率重建算法[J]. 计算机应用, 2021, 41(4): 1020-1026.
[9]	王永金, 左羽, 吴恋, 崔忠伟, 赵晨洁. 基于注意力机制的图像超分辨率重建[J]. 计算机应用, 2021, 41(3): 845-850.
[10]	任奕茗, 王让定, 严迪群, 林昱臻. 基于深度残差网络的语音隐写分析方法[J]. 计算机应用, 2021, 41(3): 774-779.
[11]	佘玉龙, 张晓龙, 程若勤, 邓春华. 基于边缘关注模型的语义分割方法[J]. 计算机应用, 2021, 41(2): 343-349.
[12]	钟莎, 黄玉清. 基于孪生区域候选网络的无人机指定目标跟踪[J]. 计算机应用, 2021, 41(2): 523-529.
[13]	陈朗, 王让定, 严迪群, 林昱臻. 融合残差网络和极限梯度提升的音频隐写检测模型[J]. 计算机应用, 2021, 41(2): 449-455.
[14]	王海勇, 张开心, 管维正. 基于密集Inception的单图像超分辨率重建方法[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3666-3671.
[15]	戴朝霞, 曹堉栋, 朱光明, 沈沛意, 徐旭, 梅林, 张亮. 基于知识蒸馏的特定知识学习[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3426-3431.

算法	Set5		Set14		BSD100		Urban100
算法	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
Bicubic	28.42	0.810	26.10	0.704	25.96	0.669	23.15	0.659
SRCNN	30.49	0.862	27.61	0.754	26.91	0.712	24.53	0.713
VDSR	31.34	0.881	28.01	0.769	27.29	0.726	25.18	0.753
SRGAN	31.90	0.881	29.32	0.780	27.55	0.734	26.07	0.781
文献［21］算法	30.51	0.887	29.30	0.771	27.15	0.721	25.23	0.756
本文算法	31.92	0.893	29.95	0.782	27.63	0.736	26.34	0.798

算法	Set5		Set14		BSD100		Urban100
算法	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
Bicubic	28.42	0.810	26.10	0.704	25.96	0.669	23.15	0.659
SRCNN	30.49	0.862	27.61	0.754	26.91	0.712	24.53	0.713
VDSR	31.34	0.881	28.01	0.769	27.29	0.726	25.18	0.753
SRGAN	31.90	0.881	29.32	0.780	27.55	0.734	26.07	0.781
文献［21］算法	30.51	0.887	29.30	0.771	27.15	0.721	25.23	0.756
本文算法	31.92	0.893	29.95	0.782	27.63	0.736	26.34	0.798

算法	img048		img077		img087
算法	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
OM	31.101	0.645	30.331	0.567	31.710	0.694
OM＋ARM1	31.586	0.702	30.751	0.699	32.235	0.725
OM＋ARM1＋ARM2	31.801	0.795	31.631	0.787	32.710	0.805
本文算法	32.011	0.886	31.964	0.887	33.383	0.874

算法	img048		img077		img087
算法	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
OM	31.101	0.645	30.331	0.567	31.710	0.694
OM＋ARM1	31.586	0.702	30.751	0.699	32.235	0.725
OM＋ARM1＋ARM2	31.801	0.795	31.631	0.787	32.710	0.805
本文算法	32.011	0.886	31.964	0.887	33.383	0.874