基于多尺度网络的运动模糊图像复原算法

doi:10.11772/j.issn.1001-9081.2021081433

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (9): 2838-2844.DOI: 10.11772/j.issn.1001-9081.2021081433

• 多媒体计算与计算机仿真 • 上一篇

基于多尺度网络的运动模糊图像复原算法

魏海云, 郑茜颖(), 俞金玲

福州大学物理与信息工程学院，福州 350108

收稿日期:2021-08-12 修回日期:2021-11-20 接受日期:2021-11-25 发布日期:2022-01-07 出版日期:2022-09-10
通讯作者: 郑茜颖
作者简介:魏海云（1996—），女，河南信阳人，硕士研究生，主要研究方向：计算机视觉、图像处理、图像复原；
俞金玲（1983—），女，福建福州人，教授，博士，主要研究方向：半导体以及拓扑绝缘体的自旋相关光电流。
基金资助:
国家自然科学基金资助项目(61471124);福建省科技重点产业引导项目(2020H0007)

Motion blurred image restoration algorithm based on multi-scale network

Haiyun WEI, Qianying ZHENG(), Jinling YU

College of Physics and Information Engineering，Fuzhou University，Fuzhou Fujian 350108，China

Received:2021-08-12 Revised:2021-11-20 Accepted:2021-11-25 Online:2022-01-07 Published:2022-09-10
Contact: Qianying ZHENG
About author:WEI Haiyun， born in 1996， M. S. candidate. Her research interests include computer vision， image processing， image restoration.
YU Jinling， born in 1983， Ph. D.， professor. Her research interests include spin-dependent photocurrents in semiconductors and topological insulators.
Supported by:
National Natural Science Foundation of China(61471124);Fujian Provincial Key Science and Technology Industry Guidance Project(2020H0007)

摘要/Abstract

摘要：

动态场景的非均匀盲去模糊一直是图像复原领域中的一个难题。针对目前的模糊图像复原算法不能很好地解决多样性模糊源的问题，提出了一种端到端的基于多尺度网络的运动模糊图像复原算法。所提算法使用修剪过的残差块作为基本单元，且在每一级尺度上都采用相同的非对称编解码网络。为了更好地提取输入图像特征，在编码端使用引入注意力机制的残差模块，还加入了空间金字塔池化层。编码端和解码端中间的循环单元可以获取图像的空间信息，从而利用图像空间的连续性来进行非均匀运动模糊图像的复原。测试结果显示，在GoPro数据集上所提算法的峰值信噪比（PSNR）达到33.69 dB，结构相似性（SSIM）达到0.953 7，且能够更好地复原模糊图像的细节信息，而在Blur数据集上所提算法的PSNR为31.47 dB，SSIM为0.904 7。实验结果表明，与尺度递归网络和深度层次化多patch网络相比，所提算法取得了更优的模糊图像复原效果。

关键词: 非均匀盲去模糊, 多尺度网络, 注意力机制, 残差模块, 循环单元

Abstract:

Non-uniform blind deblurring of dynamic scenes has always been a difficult problem in the field of image restoration. Aiming at the problem that the current blurred image restoration algorithms cannot solve the problem of diverse fuzzy sources well， an end-to-end motion blurred image restoration algorithm based on multi-scale network was proposed. In the proposed algorithm， the pruned residual blocks were used as the basic units， and the same asymmetric encoder-decoder network was used at each scale. In order to extract the features of the input image better， a residual module with attention mechanism was used in the coding side， and a spatial pyramid pooling layer was added. The recurrent unit between the encoding side and decoding side was able to obtain spatial information of the image， so that the image space continuity was able to be used to restore non-uniform motion blurred image. Test results show that the Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） of the proposed algorithm are 33.69 dB and 0.953 7 respectively on GoPro dataset， and the blur image details can be recovered better， and the PSNR and SSIM of the proposed algorithm on Blur dataset are 31.47 dB and 0.904 7 respectively. Experimental results show that compared with scale-recurrent network and deep stacked hierarchical multi-patch network， the proposed algorithm achieves better blurred image restoration.

Key words: non-uniform blind deblurring, multi-scale network, attention mechanism, residual module, recurrent unit

中图分类号:

TP391.41

魏海云, 郑茜颖, 俞金玲. 基于多尺度网络的运动模糊图像复原算法[J]. 计算机应用, 2022, 42(9): 2838-2844.

Haiyun WEI, Qianying ZHENG, Jinling YU. Motion blurred image restoration algorithm based on multi-scale network[J]. Journal of Computer Applications, 2022, 42(9): 2838-2844.

图/表 11

图1 非对称编解码网络

Fig. 1 Asymmetric encoder-decoder network

图2 残差注意力模块

Fig. 2 Residual attention block

图3 ConvGRU模块连接方式

Fig. 3 Connection mode of ConvGRU modules

表1 注意力机制对实验结果的影响

Tab. 1 Influence of attention mechanism on experimental results

算法	PSNR/dB	SSIM
本文算法	33.69	0.953 7
无注意力机制的算法	30.45	0.924 4

表2 ConvGRU模块对实验结果的影响

Tab. 2 Influence of ConvGRU module on experimental results

算法	参数量/10⁶	PSNR/dB	SSIM	复原时间/s
本文算法	9.79	33.69	0.953 7	0.013 1
无ConvGRU的算法	11.25	31.73	0.939 8	0.131 2

图4 L2损失函数的训练过程

Fig. 4 Training process of L2 loss function

图5 混合损失函数的训练过程

Fig. 5 Training process of mixed loss function

图6 几种算法在GoPro数据集上的测试结果对比

Fig. 6 Test results comparison of several algorithms on GoPro dataset

图7 几种算法在Blur数据集的上测试结果对比

Fig. 7 Test results comparison of several algorithms on Blur dataset

图8 真实模糊图像复原结果对比

Fig. 8 Restoration results comparison of real blurred image

表3 所提算法与其他算法的对比结果

Tab. 3 Comparison results of the proposed algorithm and other algorithms

数据集	算法	PSNR/dB	SSIM	复原时间/s
GoPro 数据集	传统盲去模糊算法	25.04	0.801 2	32.114 2
	CNN	26.75	0.871 0	5.478 2
	SRN	31.58	0.914 0	0.402 3
	DMPHN	32.47	0.935 1	0.234 1
	本文算法	33.69	0.9537	0.0131
Blur 数据集	传统盲去模糊算法	24.17	0.781 4	38.197 8
	CNN	25.22	0.852 1	10.631 0
	SRN	30.14	0.875 6	0.812 1
	DMPHN	31.01	0.892 4	0.350 1
	本文算法	31.47	0.9047	0.1190

参考文献 24

1	SHAN Q， JIA J Y， AGARWALA A. High-quality motion deblurring from a single image［J］. ACM Transactions on Graphics， 2008， 27（3）： No.73. 10.1145/1360612.1360672
2	WHYTE O， SIVIC J， ZISSERMAN A， et al. Non-uniform deblurring for shaken images［C］// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2010： 491-498. 10.1109/cvpr.2010.5540175
3	CHO T S， PARIS S， HORN B K P， et al. Blur kernel estimation using the Radon transform［C］// Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2011： 241-248. 10.1109/cvpr.2011.5995479
4	HIRSCH M， SCHULER C J， HARMELING S， et al. Fast removal of non-uniform camera shake［C］// Proceedings of the 2011 International Conference on Computer Vision. Piscataway： IEEE， 2011： 463-470. 10.1109/iccv.2011.6126276
5	ANGER J， FACCIOLO G， DELBRACIO M. Estimating an image’s blur kernel using natural image statistics， and deblurring it： an analysis of the Goldstein-Fattal method［J］. Image Processing On Line， 2018， 8： 282-304. 10.5201/ipol.2018.211
6	PAN J S， REN W Q， HU Z， et al. Learning to deblur images with exemplars［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019， 41（6）： 1412-1425. 10.1109/tpami.2018.2832125
7	SHENG B， LI P， FANG X X， et al. Depth-aware motion deblurring using loopy belief propagation［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（4）： 955-969. 10.1109/tcsvt.2019.2901629
8	耿源谦，吴传生，刘文. 混合非凸非光滑正则化约束的模糊图像盲复原［J］. 计算机应用， 2020， 40（4）： 1171-1176. 10.11772/j.issn.1001-9081.2019091647
	GENG Y Q， WU C S， LIU W. Mixed non-convex and non-smooth regularization constraint based blind image restoration［J］. Journal of Computer Applications， 2020， 40（4）：1171-1176. 10.11772/j.issn.1001-9081.2019091647
9	SUN J， CAO W F， XU Z B， et al. Learning a convolutional neural network for non-uniform motion blur removal［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 769-777. 10.1109/cvpr.2015.7298677
10	SCHULER C J， HIRSCH M， HARMELING S， et al. Learning to deblur［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（7）： 1439-1451. 10.1109/tpami.2015.2481418
11	NAH S， KIM T H， LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 257-265. 10.1109/cvpr.2017.35
12	KUPYN O， MARTYNIUK T， WU J R， et al. DeblurGAN-v2： deblurring （orders-of-magnitude） faster and better［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 8877-8886. 10.1109/iccv.2019.00897
13	BAI Y C， JIA H Z， JIANG M， et al. Single-image blind deblurring using multi-scale latent structure prior［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（7）： 2033-2045.
14	PARK D， KANG D U， KIM J， et al. Multi-temporal recurrent neural networks for progressive non-uniform single image deblurring with incremental temporal training［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12351. Cham： Springer， 2020： 327-343.
15	CHEN L Y， LU X， ZHANG J， et al. HINet： half instance normalization network for image restoration［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 182-192. 10.1109/cvprw53098.2021.00027
16	林晨，尹增山. 基于注意力机制的图像盲去模糊算法［J］. 计算机应用， 2020， 40（S2）： 151-157. 10.11772/j.issn.1001-9081.2020030365
	LIN C， YIN Z S. Attention-based algorithm for image blind deblurring［J］. Journal of Computer Applications， 2020， 40（S2）： 151-157. 10.11772/j.issn.1001-9081.2020030365
17	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
18	JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 694-711.
19	HE K M， ZHANG K Y， REN S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916. 10.1109/tpami.2015.2389824
20	WANG F， JIANG M Q， QIAN C， et al. Residual attention network for image classification［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6450-6458. 10.1109/cvpr.2017.683
21	SU S C， DELBRACIO M， WANG J. Deep video deblurring for hand-held cameras［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 237-246. 10.1109/cvpr.2017.33
22	GUPTA A， JOSHI N， ZITNICK C L， et al. Single image deblurring using motion density functions［C］// Proceedings of the 2010 European Conference on Computer Vision， LNCS 6311. Berlin： Springer， 2010： 171-184.
23	TAO X， GAO H Y， SHEN X Y， et al. Scale-recurrent network for deep image deblurring［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8174-8182. 10.1109/cvpr.2018.00853
24	ZHANG H G， DAI Y C， LI H D， et al. Deep stacked hierarchical multi-patch network for image deblurring［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5971-5979. 10.1109/cvpr.2019.00613

[1]	侯旭东, 滕飞, 张艺. 基于深度自编码的医疗命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2686-2692.
[2]	文凯, 唐伟伟, 熊俊臣. 基于注意力机制和有效分解卷积的实时分割算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2659-2666.
[3]	衡红军, 徐天宝. 基于多尺度卷积和门控机制的注意力情感分析模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2674-2679.
[4]	李坤, 侯庆. 基于注意力机制的轻量型人体姿态估计[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2407-2414.
[5]	徐成霞, 阎庆, 李腾, 苗开超. 基于联合注意力机制的单幅图像去雨算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2578-2585.
[6]	吴明晖, 张广洁, 金苍宏. 基于多模态信息融合的时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2326-2332.
[7]	吕振虎, 许新征, 张芳艳. 基于挤压激励的轻量化注意力机制模块[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2353-2360.
[8]	张丽莹, 庞春江, 王新颖, 李国亮. 基于改进YOLOv3的多尺度目标检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2423-2431.
[9]	张新宇, 丁胜, 杨治佩. 基于改进注意力机制的交通标志检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2378-2385.
[10]	玄英律, 万源, 陈嘉慧. 基于多尺度卷积和注意力机制的LSTM时间序列分类[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2343-2352.
[11]	韩泽芳, 张雄, 上官宏, 韩兴隆, 韩静, 奉刚, 崔学英. 用于低剂量CT降噪的伪影感知生成对抗网络[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2301-2310.
[12]	刘博, 卿粼波, 王正勇, 刘美, 姜雪. 基于分块注意力机制和交互位置关系的群组活动识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2052-2057.
[13]	王海起, 王志海, 李留珂, 孔浩然, 王琼, 徐建波. 基于网格划分的城市短时交通流量时空预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2274-2280.
[14]	刘万军, 王佳铭, 曲海成, 董利兵, 曹欣宇. 基于频谱空间域特征注意的音乐流派分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2072-2077.
[15]	秦庭威, 赵鹏程, 秦品乐, 曾建朝, 柴锐, 黄永琦. 基于残差注意力机制的点云配准算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2184-2191.

基于多尺度网络的运动模糊图像复原算法

Motion blurred image restoration algorithm based on multi-scale network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 24

相关文章 15

编辑推荐

Metrics