基于近似U型网络结构的图像去噪模型

doi:10.11772/j.issn.1001-9081.2021061126

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (8): 2571-2577.DOI: 10.11772/j.issn.1001-9081.2021061126

• 多媒体计算与计算机仿真 • 上一篇

基于近似U型网络结构的图像去噪模型

靳华中, 张修洋, 叶志伟(), 张闻其, 夏小鱼

湖北工业大学计算机学院，武汉 430068

收稿日期:2021-07-02 修回日期:2021-09-05 接受日期:2021-09-14 发布日期:2021-12-27 出版日期:2022-08-10
通讯作者: 叶志伟
作者简介:靳华中（1973—），男，湖北洪湖人，副教授，博士，CCF会员，主要研究方向：计算机视觉、智能系统；
张修洋（1997—），男，湖北宜昌人，硕士研究生，主要研究方向：计算机视觉、图像处理；
叶志伟（1978—），男，湖北浠水人，教授，博士，CCF会员，主要研究方向：机器学习、数据挖掘、进化计算；
张闻其（2000—），男，湖北黄冈人，主要研究方向：智能计算、图像处理；
夏小鱼（2000—），女，湖北荆州人，主要研究方向：智能计算、图像处理。

Image denoising model based on approximate U-shaped network structure

Huazhong JIN, Xiuyang ZHANG, Zhiwei YE(), Wenqi ZHANG, Xiaoyu XIA

School of Computer Science，Hubei University of Technology，Wuhan Hubei 430068，China

Received:2021-07-02 Revised:2021-09-05 Accepted:2021-09-14 Online:2021-12-27 Published:2022-08-10
Contact: Zhiwei YE
About author:JIN Huazhong， born in 1973， Ph. D.， associate professor. His research interests include computer vision， smart system.
ZHANG Xiuyang， born in 1997， M. S. candidate. His research interests include computer vision， image processing.
YE Zhiwei， born in 1978， Ph. D.， professor. His research interests include machine learning， data mining， evolutionary computing.
ZHANG Wenqi， born in 2000. His research interests include intelligent computing， image processing.
XIA Xiaoyu， born in 2000. Her research interests include intelligent computing， image processing.
Supported by:
National College Students’ Innovation and Entrepreneurship Training Program(202010500003)

摘要/Abstract

摘要：

针对图像去噪中的去噪效果差、训练周期长的问题，提出一种基于近似U型网络结构的图像去噪模型。首先，使用不同步长的卷积层将原有的线性网络结构修改为近似U型的网络结构；然后，将不同感受野的图像信息叠加以尽可能地保留图像的原有信息；最后，引入反卷积网络层进行图像恢复和噪声的进一步去除。在Set12与BSD68测试集上与去噪卷积神经网络（DnCNN）模型相比，所提模型的峰值信噪比（PSNR）平均提升了0.04~0.14 dB，训练时长平均缩短了41%。实验结果表明，所提模型具有更好地去噪效果和更短的训练时长。

关键词: 图像去噪, 去噪卷积神经网络, 反卷积, U-Net, 残差学习

Abstract:

Aiming at the problem of poor denoising effect and long training period in image denoising， an image denoising model based on approximate U-shaped network structure was proposed. Firstly， the original linear network structure was modified to an approximate U-shaped network structure by using convolutional layers with different strides. Then， the image information of different receptive fields was superimposed on each other to preserve the original information of the image as much as possible. Finally， the deconvolutional network layer was introduced for image restoration and further noise removal. Experimental results show that on Set12 and BSD68 test sets： compared with Denoising Convolutional Neural Network （DnCNN） model， the proposed model has an average increase of 0.04 to 0.14 dB on Peak Signal-to-Noise Ratio （PSNR）， and an average reduction of 41% on training time， verifying that the proposed model has better denoising effect and shorter training time.

Key words: image denoising, Denoising Convolutional Neural Network (DnCNN), deconvolution, U-Net, residual learning

中图分类号:

TP391.4

靳华中, 张修洋, 叶志伟, 张闻其, 夏小鱼. 基于近似U型网络结构的图像去噪模型[J]. 计算机应用, 2022, 42(8): 2571-2577.

Huazhong JIN, Xiuyang ZHANG, Zhiwei YE, Wenqi ZHANG, Xiaoyu XIA. Image denoising model based on approximate U-shaped network structure[J]. Journal of Computer Applications, 2022, 42(8): 2571-2577.

图/表 14

参考文献 21

1	刘利平，乔乐乐，蒋柳成.图像去噪方法概述［J］.计算机科学与探索， 2021， 15（8）： 1418-1431. 10.3778/j.issn.1673-9418.2101035
	LIU L P， QIAO L L， JIANG L C. Overview of image denoising methods［J］. Journal of Frontiers of Computer Science and Technology， 2021， 15（8）： 1418-1431. 10.3778/j.issn.1673-9418.2101035
2	方莉，张萍.经典图像去噪算法研究综述［J］.工业控制计算机， 2010， 23（11）： 73-74. 10.3969/j.issn.1001-182X.2010.11.034
	FANG L， ZHANG P. Overview on some arithmetics for image denoising［J］. Industrial Control Computer， 2010， 23（11）： 73-74. 10.3969/j.issn.1001-182X.2010.11.034
3	DABOV K， FOI A， KATKOVNIK V， et al. Image denoising by sparse 3-D transform-domain collaborative filtering［J］. IEEE Transactions on Image Processing， 2007， 16（8）： 2080-2095. 10.1109/tip.2007.901238
4	MAIRAL J， BACH F， PONCE J， et al. Non-local sparse models for image restoration ［C］// Proceedings of the IEEE 12th International Conference on Computer Vision. Piscataway： IEEE， 2010： 2272-2279.
5	DONG W S， ZHANG L， SHI G M， et al. Nonlocally centralized sparse representation for image restoration［J］. IEEE Transactions on Image Processing， 2013， 22（4）： 1620-1630. 10.1109/tip.2012.2235847
6	GU S H， ZHANG L， ZUO W M， et al. Weighted nuclear norm minimization with application to image denoising ［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 2862-2869. 10.1109/cvpr.2014.366
7	SCHMIDT U， ROTH S. Shrinkage fields for effective image restoration ［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 2774-2781. 10.1109/cvpr.2014.349
8	CHEN Y J， YU W， POCK T. On learning optimized reaction diffusion processes for effective image restoration ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 5261-5269. 10.1109/cvpr.2015.7299163
9	ZHANG K， ZUO W M， CHEN Y J， et al. Beyond a Gaussian denoiser： residual learning of deep CNN for image denoising［J］. IEEE Transactions on Image Processing， 2016， 26（7）： 3142-3155. 10.1109/tip.2017.2662206
10	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks ［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2012： 1097-1105.
11	IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift ［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 448-456.
12	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
13	靳华中，刘阳，叶志伟.一种改进的深度网络残差学习的图像降噪方法［J］.华中师范大学学报（自然科学版）， 2020， 54（6）： 949-955， 968. 10.19603/j.cnki.1000-1190.2020.06.006
	JIN H Z， LIU Y， YE Z W. An improved image denoising method of depth network residual learning［J］. Journal of Central China Normal University （Natural Sciences）， 2020， 54（6）： 949-955， 968. 10.19603/j.cnki.1000-1190.2020.06.006
14	ZEILER M D， TAYLOR G W， FERGUS R. Adaptive deconvolutional networks for mid and high level feature learning ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 2018-2025. 10.1109/iccv.2011.6126474
15	RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
16	SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9. 10.1109/cvpr.2015.7298594
17	SCHMIDT U， JANCSARY J， NOWOZIN S， et al. Cascades of regression tree fields for image restoration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（4）： 677-689. 10.1109/tpami.2015.2441053
18	ROTH S， BLACK M J. Fields of experts［J］. International Journal of Computer Vision， 2009， 82（2）： 205-229. 10.1007/s11263-008-0197-6
19	GU S H， XIE Q， MENG D Y， et al. Weighted nuclear norm minimization and its applications to low level vision［J］. International Journal of Computer Vision， 2017， 121（2）： 183-208. 10.1007/s11263-016-0930-5
20	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-03-23］. .
21	CHEN Y J， POCK T. Trainable nonlinear reaction diffusion： a flexible framework for fast and effective image restoration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1256-1272. 10.1109/tpami.2016.2596743

噪声σ	BM3D	WNNM	EPLL	MLP	CSF	TNRD	DnCNN-B	本文模型
15	31.07	31.37	31.21	—	31.24	31.42	31.61	31.72
25	28.57	28.83	28.68	28.96	28.74	28.92	29.16	29.23
50	25.62	25.87	25.67	26.03	—	25.97	26.23	26.27

噪声σ	BM3D	WNNM	EPLL	MLP	CSF	TNRD	DnCNN-B	本文模型
15	31.07	31.37	31.21	—	31.24	31.42	31.61	31.72
25	28.57	28.83	28.68	28.96	28.74	28.92	29.16	29.23
50	25.62	25.87	25.67	26.03	—	25.97	26.23	26.27

图片	BM3D	WNNM	EPLL	CSF	TNRD	DnCNN-B	本文模型
平均	32.372	32.696	32.138	32.318	32.502	32.680	32.824
C.man	31.91	32.17	31.85	31.95	32.19	32.10	32.50
House	34.93	35.13	34.17	34.39	34.53	34.93	35.03
Peppers	32.69	32.99	32.64	32.85	33.04	33.15	33.12
Starfish	31.14	31.82	31.13	31.55	31.75	32.02	32.14
Monar	31.85	32.71	32.10	32.33	32.56	32.94	33.25
Airpl	31.07	31.39	31.19	31.33	31.46	31.56	31.65
Parrot	31.37	31.62	31.42	31.37	31.63	31.63	31.85
Lena	34.26	34.27	33.92	34.06	34.24	34.56	34.56
Barbara	33.10	33.60	31.38	31.92	32.13	32.09	32.64
Boat	32.13	32.27	31.93	32.01	32.14	32.35	32.32
Man	31.92	32.11	32.00	32.08	32.23	32.41	32.40
Couple	32.10	32.17	31.93	31.98	32.11	32.41	32.43

图片	BM3D	WNNM	EPLL	CSF	TNRD	DnCNN-B	本文模型
平均	32.372	32.696	32.138	32.318	32.502	32.680	32.824
C.man	31.91	32.17	31.85	31.95	32.19	32.10	32.50
House	34.93	35.13	34.17	34.39	34.53	34.93	35.03
Peppers	32.69	32.99	32.64	32.85	33.04	33.15	33.12
Starfish	31.14	31.82	31.13	31.55	31.75	32.02	32.14
Monar	31.85	32.71	32.10	32.33	32.56	32.94	33.25
Airpl	31.07	31.39	31.19	31.33	31.46	31.56	31.65
Parrot	31.37	31.62	31.42	31.37	31.63	31.63	31.85
Lena	34.26	34.27	33.92	34.06	34.24	34.56	34.56
Barbara	33.10	33.60	31.38	31.92	32.13	32.09	32.64
Boat	32.13	32.27	31.93	32.01	32.14	32.35	32.32
Man	31.92	32.11	32.00	32.08	32.23	32.41	32.40
Couple	32.10	32.17	31.93	31.98	32.11	32.41	32.43

图片	BM3D	WNNM	EPLL	MLP	CSF	TNRD	DnCNN-B	本文模型
平均	29.969	30.257	29.692	30.027	29.837	30.055	30.362	30.457
C.man	29.45	29.64	29.26	29.61	29.48	29.72	29.94	30.12
House	32.85	33.22	32.17	32.56	32.39	32.53	33.05	33.13
Peppers	30.16	30.42	30.17	30.30	30.32	30.57	30.84	30.80
Starfish	28.56	29.03	28.51	28.82	28.80	29.02	29.34	29.45
Monar	29.25	29.84	29.39	29.61	29.62	29.85	30.25	30.43
Airpl	28.42	28.69	28.61	28.82	28.72	28.88	29.09	29.14
Parrot	28.93	29.15	28.95	29.25	28.90	29.18	29.35	29.51
Lena	32.07	32.24	31.73	32.25	31.79	32.00	32.42	32.47
Barbara	30.71	31.24	28.61	29.54	29.03	29.41	29.69	30.09
Boat	29.90	30.03	29.74	29.97	29.76	29.91	30.20	30.18
Man	29.61	29.76	29.66	29.88	29.71	29.87	30.09	30.04
Couple	29.71	29.82	29.53	29.73	29.53	29.71	30.10	30.12

基于近似U型网络结构的图像去噪模型

Image denoising model based on approximate U-shaped network structure

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 21

相关文章 15

编辑推荐

Metrics

图片	BM3D	WNNM	EPLL	MLP	TNRD	DnCNN-B	本文模型
平均	26.722	27.052	26.471	26.783	26.812	27.206	27.248
C.man	26.13	26.45	26.10	26.37	26.62	27.03	27.20
House	26.69	30.33	29.12	29.64	29.48	30.02	30.34
Peppers	26.68	26.95	26.80	26.68	27.10	27.39	27.35
Starfish	25.04	25.44	25.12	25.43	25.42	25.72	25.80
Monar	25.82	26.32	25.94	26.26	26.31	26.83	26.79
Airpl	25.10	25.42	25.31	25.56	25.59	25.89	25.86
Parrot	25.90	26.14	25.95	26.12	26.16	26.48	26.46
Lena	29.05	29.25	28.68	29.32	28.93	29.38	29.47
Barbara	27.22	27.79	24.83	25.24	25.70	26.38	26.39
Boat	26.78	26.97	26.74	27.03	26.94	27.23	27.15
Man	26.81	26.94	26.79	27.06	26.98	27.23	27.19
Couple	26.46	26.64	26.30	26.67	26.50	26.91	26.97

噪声σ	DnCNN-B	本文模型	差值
10	34.63	34.77	+0.14
15	32.68	32.82	+0.14
20	31.42	31.53	+0.11
25	30.36	30.46	+0.10
30	29.46	29.55	+0.09
35	28.82	28.89	+0.07
40	28.16	28.23	+0.07
45	27.65	27.70	+0.05
50	27.21	27.25	+0.04

噪声σ	采用步长	峰值信噪比/dB	训练时长/s
15	1	32.80	7 543
15	2	32.82	4 752
25	1	30.30	7 543
25	2	30.46	4 752
50	1	27.16	7 543
50	2	27.25	4 752

[1]	余晓鹏, 何儒汉, 黄晋, 张俊杰, 胡新荣. 基于改进Inception结构的知识图谱嵌入模型[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1065-1071.
[2]	曹一珉, 蔡磊, 高敬阳. 基于生成对抗网络的基因数据生成方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 783-790.
[3]	徐光柱, 林文杰, 陈莎, 匡婉, 雷帮军, 周军. U-Net与自适应阈值脉冲耦合神经网络相结合的眼底血管分割方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 825-832.
[4]	李恒鑫, 常侃, 谭宇飞, 凌铭阳, 覃团发. 应用通道间相关性及增强信息蒸馏的彩色图像去马赛克网络[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 245-251.
[5]	卞凌志, 王直杰. 基于增强多维多粒度级联森林的信用评分模型[J]. 计算机应用, 2021, 41(9): 2539-2544.
[6]	黄梨, 卢龙. 基于长距离依赖编码与深度残差U-Net的缺血性卒中病灶分割[J]. 计算机应用, 2021, 41(6): 1820-1827.
[7]	牛康力, 谌雨章, 沈君凤, 曾张帆, 潘永才, 王绎冲. 基于深度学习的双通道夜视图像复原方法[J]. 计算机应用, 2021, 41(6): 1775-1784.
[8]	梁敏, 王昊榕, 张瑶, 李杰. 基于加速残差网络的图像超分辨率重建方法[J]. 计算机应用, 2021, 41(5): 1438-1444.
[9]	高海军, 曾祥银, 潘大志, 郑伯川. 基于U-Net改进模型的直肠肿瘤分割方法[J]. 计算机应用, 2020, 40(8): 2392-2397.
[10]	石陆魁, 马红祺, 张朝宗, 樊世燕. 基于改进残差结构的肺结节检测方法[J]. 计算机应用, 2020, 40(7): 2110-2116.
[11]	马金林, 魏萌, 马自萍. 基于深度迁移学习的肺结节分割方法[J]. 计算机应用, 2020, 40(7): 2117-2125.
[12]	胡雪影, 郭海儒, 朱蓉. 基于混合深度卷积网络的图像超分辨率重建[J]. 计算机应用, 2020, 40(7): 2069-2076.
[13]	陈赛健, 朱远平. 基于生成对抗网络的文本图像联合超分辨率与去模糊方法[J]. 计算机应用, 2020, 40(3): 859-864.
[14]	魏小娜, 邢嘉祺, 王振宇, 王颖珊, 石洁, 赵地, 汪红志. 基于改进U-Net的关节滑膜磁共振图像的分割[J]. 计算机应用, 2020, 40(11): 3340-3345.
[15]	张强, 杨剑, 富丽贞. 双输入流深度反卷积的插值神经网络[J]. 计算机应用, 2019, 39(8): 2271-2275.

模型	耗时/s
WNNM	240.56
EPLL	53.53
DnCNN-B	0.02
本文模型	0.01

模型	耗时/s
WNNM	240.56
EPLL	53.53
DnCNN-B	0.02
本文模型	0.01