基于近似U型网络结构的图像去噪模型

doi:10.11772/j.issn.1001-9081.2021061126

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (8): 2571-2577.DOI: 10.11772/j.issn.1001-9081.2021061126

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于近似U型网络结构的图像去噪模型

靳华中, 张修洋, 叶志伟(), 张闻其, 夏小鱼

湖北工业大学计算机学院，武汉 430068

收稿日期:2021-07-02 修回日期:2021-09-05 接受日期:2021-09-14 发布日期:2021-12-27 出版日期:2022-08-10
通讯作者: 叶志伟
作者简介:靳华中（1973—），男，湖北洪湖人，副教授，博士，CCF会员，主要研究方向：计算机视觉、智能系统；
张修洋（1997—），男，湖北宜昌人，硕士研究生，主要研究方向：计算机视觉、图像处理；
叶志伟（1978—），男，湖北浠水人，教授，博士，CCF会员，主要研究方向：机器学习、数据挖掘、进化计算；
张闻其（2000—），男，湖北黄冈人，主要研究方向：智能计算、图像处理；
夏小鱼（2000—），女，湖北荆州人，主要研究方向：智能计算、图像处理。

Image denoising model based on approximate U-shaped network structure

Huazhong JIN, Xiuyang ZHANG, Zhiwei YE(), Wenqi ZHANG, Xiaoyu XIA

School of Computer Science，Hubei University of Technology，Wuhan Hubei 430068，China

Received:2021-07-02 Revised:2021-09-05 Accepted:2021-09-14 Online:2021-12-27 Published:2022-08-10
Contact: Zhiwei YE
About author:JIN Huazhong， born in 1973， Ph. D.， associate professor. His research interests include computer vision， smart system.
ZHANG Xiuyang， born in 1997， M. S. candidate. His research interests include computer vision， image processing.
YE Zhiwei， born in 1978， Ph. D.， professor. His research interests include machine learning， data mining， evolutionary computing.
ZHANG Wenqi， born in 2000. His research interests include intelligent computing， image processing.
XIA Xiaoyu， born in 2000. Her research interests include intelligent computing， image processing.
Supported by:
National College Students’ Innovation and Entrepreneurship Training Program(202010500003)

摘要/Abstract

摘要：

针对图像去噪中的去噪效果差、训练周期长的问题，提出一种基于近似U型网络结构的图像去噪模型。首先，使用不同步长的卷积层将原有的线性网络结构修改为近似U型的网络结构；然后，将不同感受野的图像信息叠加以尽可能地保留图像的原有信息；最后，引入反卷积网络层进行图像恢复和噪声的进一步去除。在Set12与BSD68测试集上与去噪卷积神经网络（DnCNN）模型相比，所提模型的峰值信噪比（PSNR）平均提升了0.04~0.14 dB，训练时长平均缩短了41%。实验结果表明，所提模型具有更好地去噪效果和更短的训练时长。

关键词: 图像去噪, 去噪卷积神经网络, 反卷积, U-Net, 残差学习

Abstract:

Aiming at the problem of poor denoising effect and long training period in image denoising， an image denoising model based on approximate U-shaped network structure was proposed. Firstly， the original linear network structure was modified to an approximate U-shaped network structure by using convolutional layers with different strides. Then， the image information of different receptive fields was superimposed on each other to preserve the original information of the image as much as possible. Finally， the deconvolutional network layer was introduced for image restoration and further noise removal. Experimental results show that on Set12 and BSD68 test sets： compared with Denoising Convolutional Neural Network （DnCNN） model， the proposed model has an average increase of 0.04 to 0.14 dB on Peak Signal-to-Noise Ratio （PSNR）， and an average reduction of 41% on training time， verifying that the proposed model has better denoising effect and shorter training time.

Key words: image denoising, Denoising Convolutional Neural Network (DnCNN), deconvolution, U-Net, residual learning

中图分类号:

TP391.4

靳华中, 张修洋, 叶志伟, 张闻其, 夏小鱼. 基于近似U型网络结构的图像去噪模型[J]. 计算机应用, 2022, 42(8): 2571-2577.

Huazhong JIN, Xiuyang ZHANG, Zhiwei YE, Wenqi ZHANG, Xiaoyu XIA. Image denoising model based on approximate U-shaped network structure[J]. Journal of Computer Applications, 2022, 42(8): 2571-2577.

图/表 14

参考文献 21

1	刘利平，乔乐乐，蒋柳成.图像去噪方法概述［J］.计算机科学与探索， 2021， 15（8）： 1418-1431. 10.3778/j.issn.1673-9418.2101035
	LIU L P， QIAO L L， JIANG L C. Overview of image denoising methods［J］. Journal of Frontiers of Computer Science and Technology， 2021， 15（8）： 1418-1431. 10.3778/j.issn.1673-9418.2101035
2	方莉，张萍.经典图像去噪算法研究综述［J］.工业控制计算机， 2010， 23（11）： 73-74. 10.3969/j.issn.1001-182X.2010.11.034
	FANG L， ZHANG P. Overview on some arithmetics for image denoising［J］. Industrial Control Computer， 2010， 23（11）： 73-74. 10.3969/j.issn.1001-182X.2010.11.034
3	DABOV K， FOI A， KATKOVNIK V， et al. Image denoising by sparse 3-D transform-domain collaborative filtering［J］. IEEE Transactions on Image Processing， 2007， 16（8）： 2080-2095. 10.1109/tip.2007.901238
4	MAIRAL J， BACH F， PONCE J， et al. Non-local sparse models for image restoration ［C］// Proceedings of the IEEE 12th International Conference on Computer Vision. Piscataway： IEEE， 2010： 2272-2279.
5	DONG W S， ZHANG L， SHI G M， et al. Nonlocally centralized sparse representation for image restoration［J］. IEEE Transactions on Image Processing， 2013， 22（4）： 1620-1630. 10.1109/tip.2012.2235847
6	GU S H， ZHANG L， ZUO W M， et al. Weighted nuclear norm minimization with application to image denoising ［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 2862-2869. 10.1109/cvpr.2014.366
7	SCHMIDT U， ROTH S. Shrinkage fields for effective image restoration ［C］// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 2774-2781. 10.1109/cvpr.2014.349
8	CHEN Y J， YU W， POCK T. On learning optimized reaction diffusion processes for effective image restoration ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 5261-5269. 10.1109/cvpr.2015.7299163
9	ZHANG K， ZUO W M， CHEN Y J， et al. Beyond a Gaussian denoiser： residual learning of deep CNN for image denoising［J］. IEEE Transactions on Image Processing， 2016， 26（7）： 3142-3155. 10.1109/tip.2017.2662206
10	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks ［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2012： 1097-1105.
11	IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift ［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 448-456.
12	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
13	靳华中，刘阳，叶志伟.一种改进的深度网络残差学习的图像降噪方法［J］.华中师范大学学报（自然科学版）， 2020， 54（6）： 949-955， 968. 10.19603/j.cnki.1000-1190.2020.06.006
	JIN H Z， LIU Y， YE Z W. An improved image denoising method of depth network residual learning［J］. Journal of Central China Normal University （Natural Sciences）， 2020， 54（6）： 949-955， 968. 10.19603/j.cnki.1000-1190.2020.06.006
14	ZEILER M D， TAYLOR G W， FERGUS R. Adaptive deconvolutional networks for mid and high level feature learning ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 2018-2025. 10.1109/iccv.2011.6126474
15	RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
16	SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9. 10.1109/cvpr.2015.7298594
17	SCHMIDT U， JANCSARY J， NOWOZIN S， et al. Cascades of regression tree fields for image restoration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（4）： 677-689. 10.1109/tpami.2015.2441053
18	ROTH S， BLACK M J. Fields of experts［J］. International Journal of Computer Vision， 2009， 82（2）： 205-229. 10.1007/s11263-008-0197-6
19	GU S H， XIE Q， MENG D Y， et al. Weighted nuclear norm minimization and its applications to low level vision［J］. International Journal of Computer Vision， 2017， 121（2）： 183-208. 10.1007/s11263-016-0930-5
20	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-03-23］. .
21	CHEN Y J， POCK T. Trainable nonlinear reaction diffusion： a flexible framework for fast and effective image restoration［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1256-1272. 10.1109/tpami.2016.2596743

噪声σ	BM3D	WNNM	EPLL	MLP	CSF	TNRD	DnCNN-B	本文模型
15	31.07	31.37	31.21	—	31.24	31.42	31.61	31.72
25	28.57	28.83	28.68	28.96	28.74	28.92	29.16	29.23
50	25.62	25.87	25.67	26.03	—	25.97	26.23	26.27

噪声σ	BM3D	WNNM	EPLL	MLP	CSF	TNRD	DnCNN-B	本文模型
15	31.07	31.37	31.21	—	31.24	31.42	31.61	31.72
25	28.57	28.83	28.68	28.96	28.74	28.92	29.16	29.23
50	25.62	25.87	25.67	26.03	—	25.97	26.23	26.27

图片	BM3D	WNNM	EPLL	CSF	TNRD	DnCNN-B	本文模型
平均	32.372	32.696	32.138	32.318	32.502	32.680	32.824
C.man	31.91	32.17	31.85	31.95	32.19	32.10	32.50
House	34.93	35.13	34.17	34.39	34.53	34.93	35.03
Peppers	32.69	32.99	32.64	32.85	33.04	33.15	33.12
Starfish	31.14	31.82	31.13	31.55	31.75	32.02	32.14
Monar	31.85	32.71	32.10	32.33	32.56	32.94	33.25
Airpl	31.07	31.39	31.19	31.33	31.46	31.56	31.65
Parrot	31.37	31.62	31.42	31.37	31.63	31.63	31.85
Lena	34.26	34.27	33.92	34.06	34.24	34.56	34.56
Barbara	33.10	33.60	31.38	31.92	32.13	32.09	32.64
Boat	32.13	32.27	31.93	32.01	32.14	32.35	32.32
Man	31.92	32.11	32.00	32.08	32.23	32.41	32.40
Couple	32.10	32.17	31.93	31.98	32.11	32.41	32.43

图片	BM3D	WNNM	EPLL	CSF	TNRD	DnCNN-B	本文模型
平均	32.372	32.696	32.138	32.318	32.502	32.680	32.824
C.man	31.91	32.17	31.85	31.95	32.19	32.10	32.50
House	34.93	35.13	34.17	34.39	34.53	34.93	35.03
Peppers	32.69	32.99	32.64	32.85	33.04	33.15	33.12
Starfish	31.14	31.82	31.13	31.55	31.75	32.02	32.14
Monar	31.85	32.71	32.10	32.33	32.56	32.94	33.25
Airpl	31.07	31.39	31.19	31.33	31.46	31.56	31.65
Parrot	31.37	31.62	31.42	31.37	31.63	31.63	31.85
Lena	34.26	34.27	33.92	34.06	34.24	34.56	34.56
Barbara	33.10	33.60	31.38	31.92	32.13	32.09	32.64
Boat	32.13	32.27	31.93	32.01	32.14	32.35	32.32
Man	31.92	32.11	32.00	32.08	32.23	32.41	32.40
Couple	32.10	32.17	31.93	31.98	32.11	32.41	32.43

图片	BM3D	WNNM	EPLL	MLP	CSF	TNRD	DnCNN-B	本文模型
平均	29.969	30.257	29.692	30.027	29.837	30.055	30.362	30.457
C.man	29.45	29.64	29.26	29.61	29.48	29.72	29.94	30.12
House	32.85	33.22	32.17	32.56	32.39	32.53	33.05	33.13
Peppers	30.16	30.42	30.17	30.30	30.32	30.57	30.84	30.80
Starfish	28.56	29.03	28.51	28.82	28.80	29.02	29.34	29.45
Monar	29.25	29.84	29.39	29.61	29.62	29.85	30.25	30.43
Airpl	28.42	28.69	28.61	28.82	28.72	28.88	29.09	29.14
Parrot	28.93	29.15	28.95	29.25	28.90	29.18	29.35	29.51
Lena	32.07	32.24	31.73	32.25	31.79	32.00	32.42	32.47
Barbara	30.71	31.24	28.61	29.54	29.03	29.41	29.69	30.09
Boat	29.90	30.03	29.74	29.97	29.76	29.91	30.20	30.18
Man	29.61	29.76	29.66	29.88	29.71	29.87	30.09	30.04
Couple	29.71	29.82	29.53	29.73	29.53	29.71	30.10	30.12

基于近似U型网络结构的图像去噪模型

Image denoising model based on approximate U-shaped network structure

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 21

相关文章 15

编辑推荐

Metrics

图片	BM3D	WNNM	EPLL	MLP	TNRD	DnCNN-B	本文模型
平均	26.722	27.052	26.471	26.783	26.812	27.206	27.248
C.man	26.13	26.45	26.10	26.37	26.62	27.03	27.20
House	26.69	30.33	29.12	29.64	29.48	30.02	30.34
Peppers	26.68	26.95	26.80	26.68	27.10	27.39	27.35
Starfish	25.04	25.44	25.12	25.43	25.42	25.72	25.80
Monar	25.82	26.32	25.94	26.26	26.31	26.83	26.79
Airpl	25.10	25.42	25.31	25.56	25.59	25.89	25.86
Parrot	25.90	26.14	25.95	26.12	26.16	26.48	26.46
Lena	29.05	29.25	28.68	29.32	28.93	29.38	29.47
Barbara	27.22	27.79	24.83	25.24	25.70	26.38	26.39
Boat	26.78	26.97	26.74	27.03	26.94	27.23	27.15
Man	26.81	26.94	26.79	27.06	26.98	27.23	27.19
Couple	26.46	26.64	26.30	26.67	26.50	26.91	26.97

噪声σ	DnCNN-B	本文模型	差值
10	34.63	34.77	+0.14
15	32.68	32.82	+0.14
20	31.42	31.53	+0.11
25	30.36	30.46	+0.10
30	29.46	29.55	+0.09
35	28.82	28.89	+0.07
40	28.16	28.23	+0.07
45	27.65	27.70	+0.05
50	27.21	27.25	+0.04

噪声σ	采用步长	峰值信噪比/dB	训练时长/s
15	1	32.80	7 543
15	2	32.82	4 752
25	1	30.30	7 543
25	2	30.46	4 752
50	1	27.16	7 543
50	2	27.25	4 752

[1]	丁宇伟, 石洪波, 李杰, 梁敏. 基于局部和全局特征解耦的图像去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2571-2579.
[2]	许立君, 黎辉, 刘祖阳, 陈侃松, 马为駽. 基于3D‑Ghost卷积神经网络的脑胶质瘤MRI图像分割算法3D‑GA‑Unet[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1294-1302.
[3]	侯瑞峰, 张鹏程, 张丽媛, 桂志国, 刘祎, 张浩文, 王书斌. 基于全变分正则项展开的迭代去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 916-921.
[4]	刘雨生, 肖学中. 基于扩散模型微调的高保真图像编辑[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3574-3580.
[5]	王朋博, 单武扬, 李军, 田茂, 邹登, 范占锋. 抗高强度椒盐噪声的鲁棒拼接取证算法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3177-3184.
[6]	周迪, 张自力, 陈佳, 胡新荣, 何儒汉, 张俊. 基于EfficientNetV2和物体上下文表示的胃癌图像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2955-2962.
[7]	刘安阳, 赵怀慈, 蔡文龙, 许泽超, 解瑞灯. 基于主动判别机制的自适应生成对抗网络图像去模糊算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2288-2294.
[8]	徐清海, 丁世飞, 孙统风, 张健, 郭丽丽. 改进的基于多路径特征的胶囊网络[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1330-1335.
[9]	杨有, 张汝荟, 许鹏程, 康慷, 翟浩. 面向民国档案印章分割的改进U-Net[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 943-948.
[10]	朱利安, 张鸿. 基于双分支条件生成对抗网络的非均匀图像去雾[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 567-574.
[11]	韩林凯, 姚江伟, 王坤峰. 保留梯度和轮廓的可见光与红外图像融合[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3574-3578.
[12]	何国欢, 朱江平. WT-U-Net++：基于小波变换的表面缺陷检测网络[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3260-3266.
[13]	张志昂, 廖光忠. 基于U-Net的多尺度特征增强视网膜血管分割算法[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3275-3281.
[14]	林荐壮, 杨文忠, 谭思翔, 周乐鑫, 陈丹妮. 融合滤波增强和反转注意力网络用于息肉分割[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 265-272.
[15]	胡紫琪, 谢凯, 文畅, 李美然, 贺建飚. 生成对抗网络下的低剂量CT图像增强[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 280-288.

模型	耗时/s
WNNM	240.56
EPLL	53.53
DnCNN-B	0.02
本文模型	0.01

模型	耗时/s
WNNM	240.56
EPLL	53.53
DnCNN-B	0.02
本文模型	0.01