非对称端到端的无监督图像去雨网络

doi:10.11772/j.issn.1001-9081.2023030367

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (3): 922-930.DOI: 10.11772/j.issn.1001-9081.2023030367

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

非对称端到端的无监督图像去雨网络

江锐¹^,², 刘威¹^,²(), 陈成¹^,², 卢涛¹^,²

^1.武汉工程大学计算机科学与工程学院，武汉 430205
^2.智能机器人湖北省重点实验室（武汉工程大学），武汉 430205

收稿日期:2023-04-07 修回日期:2023-06-08 接受日期:2023-06-13 发布日期:2023-09-07 出版日期:2024-03-10
通讯作者: 刘威
作者简介:江锐（1998—），男，湖北黄冈人，硕士研究生，主要研究方向：图像处理、深度学习
陈成（1998—），男，贵州晴隆人，硕士研究生，主要研究方向：图像处理、深度学习
卢涛（1980—），男，湖北武汉人，教授，博士，主要研究方向：模式识别。
基金资助:
国家自然科学基金资助项目(62001334);湖北省教育厅科学技术研究项目(Q20201507)

Asymmetric unsupervised end-to-end image deraining network

Rui JIANG¹^,², Wei LIU¹^,²(), Cheng CHEN¹^,², Tao LU¹^,²

^1.School of Computer Science and Engineering，Wuhan Institute of Technology，Wuhan Hubei 430205，China
^2.Hubei Key Laboratory of Intelligent Robot（Wuhan Institute of Technology），Wuhan Hubei 430205，China

Received:2023-04-07 Revised:2023-06-08 Accepted:2023-06-13 Online:2023-09-07 Published:2024-03-10
Contact: Wei LIU
About author:JIANG Rui， born in 1998， M. S. candidate. His research interests include image processing， deep learning.
CHEN Cheng， born in 1998， M. S. candidate. His research interests include image processing， deep learning.
LU Tao， born in 1980， Ph. D.， professor. His research interests include pattern recognition.
Supported by:
National Natural Science Foundation of China(62001334);Science and Technology Research Project of Hubei Provincial Education Department(Q20201507)

摘要/Abstract

摘要：

现有的基于学习的单幅图像去雨网络大都关注雨天图像中雨痕对于视觉成像的影响，而忽略了雨天环境下由于空气中湿度的增加所产生的雾气对视觉成像的影响，因此造成去雨后图像的生成质量低、纹理细节信息模糊等问题。针对该问题，提出一种非对称端到端的无监督图像去雨网络模型，该模型主要包含雨雾去除网络、雨雾特征提取网络和雨雾生成网络，并由它们组成两个不同数据域映射转换模块：Rain-Clean-Rain和Clean-Rain-Clean。上述三个子网络构成并行的两条转换路径：去雨路径和雨雾特征提取路径。在雨雾特征提取路径上，提出一种基于全局和局部注意力机制的雨雾感知提取网络，利用雨雾特征存在的全局自相似性和局部差异性学习雨-雾相关特征；在去雨路径上，引入雨天图像退化模型和上述提取的雨雾相关特征作为先验知识以增强雨雾图像生成的能力，从而约束雨雾去除网络，提高它从雨天数据域到无雨数据域的映射转换能力。在不同雨天图像数据集上的实验结果表明，与较先进的去雨方法CycleDerain相比，在合成雨雾数据集HeavyRain上所提方法的峰值信噪比（PSNR）提升了31.55%，能适应不同的雨天场景，具有更好的泛化性，并且能更好地复原图像的细节和纹理信息。

关键词: 单幅图像去雨, 非配对训练, 注意力机制, 无监督学习, 先验知识

Abstract:

Existing learning-based single-image deraining networks mostly focus on the effect of rain streaks in rainy images on visual imaging， while ignoring the effect of fog on visual imaging due to the increase of humidity in the air in rainy environments， thus causing problems such as low generation quality and blurred texture detail information in the derained images. To address these problems， an asymmetric unsupervised end-to-end image deraining network model was proposed. It mainly consists of rain and fog removal network， rain and fog feature extraction network and rain and fog generation network， which form two different data domain mapping conversion modules： Rain-Clean-Rain and Clean-Rain-Clean. The above three sub-networks constituted two parallel transformation paths： the rain removal path and the rain-fog feature extraction path. In the rain-fog feature extraction path， a rain-fog-aware extraction network based on global and local attention mechanisms was proposed to learn rain-fog related features by using the global self-similarity and local discrepancy existing in rain-fog features. In the rain removal path， a rainy image degradation model and the above extracted rain-fog related features were introduced as priori knowledge to enhance the ability of rain-fog image generation， so as to constrain the rain-fog removal network and improve its mapping conversion capability from rain data domain to rain-free data domain. Extensive experiments on different rain image datasets show that compared to state-of-the-art deraining method CycleDerain， the Peak Signal-to-Noise Ratio （PSNR） is improved by 31.55% on the synthetic rain-fog dataset HeavyRain. The proposed model can adapt to different rainy scenarios， has better generalization， and can better recover the details and texture information of images.

Key words: single image deraining, unpaired training, attention mechanism, unsupervised learning, priori knowledge

中图分类号:

TP391.41

江锐, 刘威, 陈成, 卢涛. 非对称端到端的无监督图像去雨网络[J]. 计算机应用, 2024, 44(3): 922-930.

Rui JIANG, Wei LIU, Cheng CHEN, Tao LU. Asymmetric unsupervised end-to-end image deraining network[J]. Journal of Computer Applications, 2024, 44(3): 922-930.

图/表 13

图1 本文模型的结构

Fig. 1 Structure of proposed model

图2 雨雾去除网络的结构

Fig. 2 Structure of rain and fog removal network

图3 雨雾特征提取网络的结构

Fig. 3 Structure of rain and fog feature extraction network

图4 雨雾生成网络的结构

Fig. 4 Structure of rain and fog generation network

图5 不同方法在Rain800和Rain1200上的去雨结果对比

Fig. 5 Deraining result comparison of different methods on Rain800 and Rain1200

图6 不同方法在HeavyRain上的去雨结果对比

Fig. 6 Deraining result comparison of different methods on HeavyRain

表1 不同方法在合成雨天数据集上的去雨效果的客观评价指标

Tab. 1 Objective evaluation indexes of deraining effects by different methods on synthetic rain datasets

模型		HeavyRain			Rain800			Rain1200
模型		PSNR/dB	SSIM	LPIPS	PSNR/dB	SSIM	LPIPS	PSNR/dB	SSIM	LPIPS
有监督去雨模型	Detail	16.40	0.501	0.709	22.00	0.780	0.131	21.53	0.798	0.091
	LPNet	15.88	0.512	0.602	20.92	0.756	0.188	22.22	0.781	0.127
	SPANet	16.65	0.506	0.572	22.68	0.787	0.205	23.53	0.770	0.159
	DualGCN	15.31	0.655	0.420	22.22	0.782	0.107	27.34	0.863	0.076
半监督去雨模型	SEMI	16.45	0.398	0.607	21.16	0.731	0.138	22.50	0.724	0.185
无监督去雨模型	CycleDerain	18.64	0.532	0.359	21.75	0.721	0.210	21.30	0.694	0.308
无监督去雨模型	本文方法	24.52	0.821	0.062	23.19	0.789	0.104	25.73	0.849	0.070

图7 不同方法在Real147和RID上的去雨结果对比

Fig. 7 Deraining result comparison of real rain images in Real147 and RID by different methods

表2 不同方法在真实雨天图像上去雨效果的客观评价指标

Tab. 2 Objective evaluation indexes of deraining effects ofdifferent methods on real rain images

方法	Real147		RID
方法	NIQE	SSEQ	NIQE	SSEQ
Detail	4.276	28.607	4.326	27.535
LPNet	4.831	31.509	4.797	31.265
SPANet	3.987	30.214	3.591	27.969
DualGCN	3.801	29.801	3.486	27.126
SEMI	3.751	30.423	3.524	30.506
CycleDerain	4.361	34.146	4.560	38.009
本文方法	3.723	28.481	3.432	28.949

图8 消融实验可视化结果对比

Fig. 8 Comparison of visualization results of ablation experiments

表3 消融实验的客观评价指标

Tab. 3 Objective evaluation indexes of ablation experiments

模型	不同图像的NIQE
模型	图像1	图像2
模型A	3.501	4.502
模型B	3.763	4.412
模型C	3.932	4.425
模型D	3.279	4.031
本文模型	3.268	4.016

图9 本文方法与不同去雾方法在RID上的比较

Fig. 9 Comparison of proposed method and different defogging methods on RID

表4 不同方法对图9中雾图去雾结果的客观评价

Tab. 4 Objective evaluation of defogging results for Fig. 9 by different methods

方法	图像1		图像2		图像3		图像4
方法	NIQE	SSEQ	NIQE	SSEQ	NIQE	SSEQ	NIQE	SSEQ
DCPDN	2.387	19.706	3.828	10.234	5.013	24.140	3.968	21.477
DehazeNet	2.897	8.608	3.247	22.409	4.832	16.333	3.790	50.192
GCANet	2.456	11.689	3.619	24.886	4.456	26.376	3.323	33.272
IDE	2.203	4.844	3.003	14.056	3.347	27.881	3.661	52.372
本文方法	2.143	2.677	2.788	7.901	3.081	16.222	2.982	17.940

参考文献 37

1	李超，黄新宇，王凯. 基于特征融合和自学习锚框的高分辨率图像小目标检测算法［J］. 电子学报， 2022， 50（7）： 1684-1695. 10.12263/DZXB.20200917
	LI C， HUANG X Y， WANG K. Small target detection of high-resolution images based on feature fusion and learnable anchor ［J］. Acta Electronica Sinica， 2022， 50（7）： 1684-1695. 10.12263/DZXB.20200917
2	任莎莎，刘琼. 小目标特征增强图像分割算法［J］. 电子学报， 2022， 50（8）：1894-1904. 10.12263/DZXB.20211123
	REN S S， LIU Q. A tiny target feature enhancement algorithm for image segmentation ［J］. Acta Electronica Sinica， 2022， 50（8）： 1894-1904. 10.12263/DZXB.20211123
3	KANG L-W， LIN C-W， FU Y-H. Automatic single-image-based rain streaks removal via image decomposition ［J］. IEEE Transactions on Image Processing， 2012， 21（4）： 1742-1755. 10.1109/tip.2011.2179057
4	LUO Y， XU Y， JI H. Removing rain from a single image via discriminative sparse coding ［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 3397-3405. 10.1109/iccv.2015.388
5	ZHU L， FU C-W， LISCHINSKI D， et al. Joint bi-layer optimization for single-image rain streak removal ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2545-2553. 10.1109/iccv.2017.276
6	LI Y， TAN R T， GUO X， et al. Rain streak removal using layer priors［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2736-2744. 10.1109/cvpr.2016.299
7	FU X， HUANG J， DING X， et al. Clearing the skies： a deep network architecture for single-image rain removal ［J］. IEEE Transactions on Image Processing， 2017， 26（6）： 2944-2956. 10.1109/tip.2017.2691802
8	REN D， ZUO W， HU Q， et al. Progressive image deraining networks： a better and simpler baseline ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3937-3946. 10.1109/cvpr.2019.00406
9	ZHANG H， SINDAGI V， PATEL V M. Image de-raining using a conditional generative adversarial network ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2019， 30（11）： 3943-3956. 10.1109/tcsvt.2019.2920407
10	YANG W， TAN R T， FENG J， et al. Deep joint rain detection and removal from a single image ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1357-1366. 10.1109/cvpr.2017.183
11	LI R， L-F CHEONG， TAN R T. Heavy rain image restoration： integrating physics model and conditional adversarial learning ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1633-1642. 10.1109/cvpr.2019.00173
12	盖杉，王俊生. 基于深度学习的非局部注意力增强网络图像去雨算法研究［J］. 电子学报， 2020， 48（10）： 1899-1908. 10.3969/j.issn.0372-2112.2020.10.004
	GAI S， WANG J S. Image raindrop algorithm research using nonlocal attention enhanced network based on deep learning ［J］. Acta Electronica Sinica， 2020， 48（10）： 1899-1908. 10.3969/j.issn.0372-2112.2020.10.004
13	GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
14	ZHU H， PENG X， ZHOU J T， et al. Singe image rain removal with unpaired information： A differentiable programming perspective［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33（1）： 9332-9339. 10.1609/aaai.v33i01.33019332
15	JIN X， CHEN Z， LIN J， et al. Unsupervised single image deraining with self-supervised constraints ［C］// Proceedings of the 2019 IEEE International Conference on Image Processing. Piscataway： IEEE， 2019： 2761-2765. 10.1109/icip.2019.8803238
16	WEI Y， ZHANG Z， WANG Y， et al. DerainCycleGAN： rain attentive CycleGAN for single image deraining and rainmaking ［J］. IEEE Transactions on Image Processing， 2021， 30： 4788-4801. 10.1109/tip.2021.3074804
17	ZHU J-Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2223-2232. 10.1109/iccv.2017.244
18	HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
19	WOO S， PARK J， LEE J-Y， et al. CBAM： convolutional block attention module ［C］// Proceedings of the 2018 European Conference on Computer Vision. Cham： Springer， 2018： 3-19. 10.1007/978-3-030-01234-2_1
20	WANG T， YANG X， XU K， et al. Spatial attentive single-image deraining with a high quality real rain dataset ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 12270-12279. 10.1109/cvpr.2019.01255
21	WANG C， WU Y， SU Z， et al. Joint self-attention and scale-aggregation for self-calibrated deraining network ［C］// Proceedings of the 28th ACM International Conference on Multimedia. New York： ACM， 2020： 2517-2525. 10.1145/3394171.3413559
22	ZHANG H， PATEL V M. Density-aware single image de-raining using a multi-stream dense network ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 695-704. 10.1109/cvpr.2018.00079
23	WEI W， MENG D， ZHAO Q， et al. Semi-supervised transfer learning for image rain removal ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3877-3886. 10.1109/cvpr.2019.00400
24	LI S， ARAUJO I B， REN W， et al. Single image deraining： a comprehensive benchmark analysis ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3838-3847. 10.1109/cvpr.2019.00396
25	ZHANG Y， DING L， SHARMA G. HazeRD： an outdoor scene dataset and benchmark for single image dehazing ［C］// Proceedings of the 2017 IEEE International Conference on Image Processing. Piscataway： IEEE， 2017： 3205-3209. 10.1109/icip.2017.8296874
26	FU X， HUANG J， ZENG D， et al. Removing rain from single images via a deep detail network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3855-3863. 10.1109/cvpr.2017.186
27	FU X， LIANG B， HUANG Y， et al. Lightweight pyramid networks for image deraining ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（6）： 1794-1807. 10.1109/tnnls.2019.2926481
28	FU X， QI Q， ZHA Z-J， et al. Rain streak removal via dual graph convolutional network ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2021， 35（2）： 1352-1360. 10.1609/aaai.v35i2.16224
29	HUYNH-THU Q， GHANBARI M. Scope of validity of PSNR in image/video quality assessment ［J］. Electronics Letters， 2008， 44（13）： 800-801. 10.1049/el:20080522
30	WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612. 10.1109/tip.2003.819861
31	ZHANG R， ISOLA P， EFROS A A， et al. The unreasonable effectiveness of deep features as a perceptual metric ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 586-595. 10.1109/cvpr.2018.00068
32	MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer ［J］. IEEE Signal Processing Letters， 2012， 20（3）： 209-212. 10.1109/lsp.2012.2227726
33	LIU L， LIU B， HUANG H， et al. No-reference image quality assessment based on spatial and spectral entropies［J］. Signal Processing： Image Communication， 2014， 29（8）： 856-863. 10.1016/j.image.2014.06.006
34	ZHANG H， PATEL V M. Densely connected pyramid dehazing network ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 3194-3203. 10.1109/cvpr.2018.00337
35	CAI B， XU X， JIA K， et al. DehazeNet： an end-to-end system for single image haze removal ［J］. IEEE Transactions on Image Processing， 2016， 25（11）： 5187-5198. 10.1109/tip.2016.2598681
36	CHEN D， HE M， FAN Q， et al. Gated context aggregation network for image dehazing and deraining ［C］// Proceedings of the 2019 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2019： 1375-1383. 10.1109/wacv.2019.00151
37	JU M， DING C， REN W， et al. IDE： image dehazing and exposure using an enhanced atmospheric scattering model ［J］. IEEE Transactions on Image Processing， 2021， 30： 2180-2192. 10.1109/tip.2021.3050643

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[5]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[6]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[7]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[8]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[9]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[10]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[11]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[12]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[13]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.
[14]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[15]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.

非对称端到端的无监督图像去雨网络

Asymmetric unsupervised end-to-end image deraining network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 37

相关文章 15

编辑推荐

Metrics