非对称端到端的无监督图像去雨网络

doi:10.11772/j.issn.1001-9081.2023030367

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (3): 922-930.DOI: 10.11772/j.issn.1001-9081.2023030367

• 多媒体计算与计算机仿真 • 上一篇下一篇

非对称端到端的无监督图像去雨网络

江锐¹^,², 刘威¹^,²(), 陈成¹^,², 卢涛¹^,²

^1.武汉工程大学计算机科学与工程学院，武汉 430205
^2.智能机器人湖北省重点实验室（武汉工程大学），武汉 430205

收稿日期:2023-04-07 修回日期:2023-06-08 接受日期:2023-06-13 发布日期:2023-09-07 出版日期:2024-03-10
通讯作者: 刘威
作者简介:江锐（1998—），男，湖北黄冈人，硕士研究生，主要研究方向：图像处理、深度学习
陈成（1998—），男，贵州晴隆人，硕士研究生，主要研究方向：图像处理、深度学习
卢涛（1980—），男，湖北武汉人，教授，博士，主要研究方向：模式识别。
基金资助:
国家自然科学基金资助项目(62001334);湖北省教育厅科学技术研究项目(Q20201507)

Asymmetric unsupervised end-to-end image deraining network

Rui JIANG¹^,², Wei LIU¹^,²(), Cheng CHEN¹^,², Tao LU¹^,²

^1.School of Computer Science and Engineering，Wuhan Institute of Technology，Wuhan Hubei 430205，China
^2.Hubei Key Laboratory of Intelligent Robot（Wuhan Institute of Technology），Wuhan Hubei 430205，China

Received:2023-04-07 Revised:2023-06-08 Accepted:2023-06-13 Online:2023-09-07 Published:2024-03-10
Contact: Wei LIU
About author:JIANG Rui， born in 1998， M. S. candidate. His research interests include image processing， deep learning.
CHEN Cheng， born in 1998， M. S. candidate. His research interests include image processing， deep learning.
LU Tao， born in 1980， Ph. D.， professor. His research interests include pattern recognition.
Supported by:
National Natural Science Foundation of China(62001334);Science and Technology Research Project of Hubei Provincial Education Department(Q20201507)

摘要/Abstract

摘要：

现有的基于学习的单幅图像去雨网络大都关注雨天图像中雨痕对于视觉成像的影响，而忽略了雨天环境下由于空气中湿度的增加所产生的雾气对视觉成像的影响，因此造成去雨后图像的生成质量低、纹理细节信息模糊等问题。针对该问题，提出一种非对称端到端的无监督图像去雨网络模型，该模型主要包含雨雾去除网络、雨雾特征提取网络和雨雾生成网络，并由它们组成两个不同数据域映射转换模块：Rain-Clean-Rain和Clean-Rain-Clean。上述三个子网络构成并行的两条转换路径：去雨路径和雨雾特征提取路径。在雨雾特征提取路径上，提出一种基于全局和局部注意力机制的雨雾感知提取网络，利用雨雾特征存在的全局自相似性和局部差异性学习雨-雾相关特征；在去雨路径上，引入雨天图像退化模型和上述提取的雨雾相关特征作为先验知识以增强雨雾图像生成的能力，从而约束雨雾去除网络，提高它从雨天数据域到无雨数据域的映射转换能力。在不同雨天图像数据集上的实验结果表明，与较先进的去雨方法CycleDerain相比，在合成雨雾数据集HeavyRain上所提方法的峰值信噪比（PSNR）提升了31.55%，能适应不同的雨天场景，具有更好的泛化性，并且能更好地复原图像的细节和纹理信息。

关键词: 单幅图像去雨, 非配对训练, 注意力机制, 无监督学习, 先验知识

Abstract:

Existing learning-based single-image deraining networks mostly focus on the effect of rain streaks in rainy images on visual imaging， while ignoring the effect of fog on visual imaging due to the increase of humidity in the air in rainy environments， thus causing problems such as low generation quality and blurred texture detail information in the derained images. To address these problems， an asymmetric unsupervised end-to-end image deraining network model was proposed. It mainly consists of rain and fog removal network， rain and fog feature extraction network and rain and fog generation network， which form two different data domain mapping conversion modules： Rain-Clean-Rain and Clean-Rain-Clean. The above three sub-networks constituted two parallel transformation paths： the rain removal path and the rain-fog feature extraction path. In the rain-fog feature extraction path， a rain-fog-aware extraction network based on global and local attention mechanisms was proposed to learn rain-fog related features by using the global self-similarity and local discrepancy existing in rain-fog features. In the rain removal path， a rainy image degradation model and the above extracted rain-fog related features were introduced as priori knowledge to enhance the ability of rain-fog image generation， so as to constrain the rain-fog removal network and improve its mapping conversion capability from rain data domain to rain-free data domain. Extensive experiments on different rain image datasets show that compared to state-of-the-art deraining method CycleDerain， the Peak Signal-to-Noise Ratio （PSNR） is improved by 31.55% on the synthetic rain-fog dataset HeavyRain. The proposed model can adapt to different rainy scenarios， has better generalization， and can better recover the details and texture information of images.

Key words: single image deraining, unpaired training, attention mechanism, unsupervised learning, priori knowledge

中图分类号:

TP391.41

江锐, 刘威, 陈成, 卢涛. 非对称端到端的无监督图像去雨网络[J]. 计算机应用, 2024, 44(3): 922-930.

Rui JIANG, Wei LIU, Cheng CHEN, Tao LU. Asymmetric unsupervised end-to-end image deraining network[J]. Journal of Computer Applications, 2024, 44(3): 922-930.

图/表 13

图1 本文模型的结构

Fig. 1 Structure of proposed model

图2 雨雾去除网络的结构

Fig. 2 Structure of rain and fog removal network

图3 雨雾特征提取网络的结构

Fig. 3 Structure of rain and fog feature extraction network

图4 雨雾生成网络的结构

Fig. 4 Structure of rain and fog generation network

图5 不同方法在Rain800和Rain1200上的去雨结果对比

Fig. 5 Deraining result comparison of different methods on Rain800 and Rain1200

图6 不同方法在HeavyRain上的去雨结果对比

Fig. 6 Deraining result comparison of different methods on HeavyRain

表1 不同方法在合成雨天数据集上的去雨效果的客观评价指标

Tab. 1 Objective evaluation indexes of deraining effects by different methods on synthetic rain datasets

模型		HeavyRain			Rain800			Rain1200
模型		PSNR/dB	SSIM	LPIPS	PSNR/dB	SSIM	LPIPS	PSNR/dB	SSIM	LPIPS
有监督去雨模型	Detail	16.40	0.501	0.709	22.00	0.780	0.131	21.53	0.798	0.091
	LPNet	15.88	0.512	0.602	20.92	0.756	0.188	22.22	0.781	0.127
	SPANet	16.65	0.506	0.572	22.68	0.787	0.205	23.53	0.770	0.159
	DualGCN	15.31	0.655	0.420	22.22	0.782	0.107	27.34	0.863	0.076
半监督去雨模型	SEMI	16.45	0.398	0.607	21.16	0.731	0.138	22.50	0.724	0.185
无监督去雨模型	CycleDerain	18.64	0.532	0.359	21.75	0.721	0.210	21.30	0.694	0.308
无监督去雨模型	本文方法	24.52	0.821	0.062	23.19	0.789	0.104	25.73	0.849	0.070

图7 不同方法在Real147和RID上的去雨结果对比

Fig. 7 Deraining result comparison of real rain images in Real147 and RID by different methods

表2 不同方法在真实雨天图像上去雨效果的客观评价指标

Tab. 2 Objective evaluation indexes of deraining effects ofdifferent methods on real rain images

方法	Real147		RID
方法	NIQE	SSEQ	NIQE	SSEQ
Detail	4.276	28.607	4.326	27.535
LPNet	4.831	31.509	4.797	31.265
SPANet	3.987	30.214	3.591	27.969
DualGCN	3.801	29.801	3.486	27.126
SEMI	3.751	30.423	3.524	30.506
CycleDerain	4.361	34.146	4.560	38.009
本文方法	3.723	28.481	3.432	28.949

图8 消融实验可视化结果对比

Fig. 8 Comparison of visualization results of ablation experiments

表3 消融实验的客观评价指标

Tab. 3 Objective evaluation indexes of ablation experiments

模型	不同图像的NIQE
模型	图像1	图像2
模型A	3.501	4.502
模型B	3.763	4.412
模型C	3.932	4.425
模型D	3.279	4.031
本文模型	3.268	4.016

图9 本文方法与不同去雾方法在RID上的比较

Fig. 9 Comparison of proposed method and different defogging methods on RID

表4 不同方法对图9中雾图去雾结果的客观评价

Tab. 4 Objective evaluation of defogging results for Fig. 9 by different methods

方法	图像1		图像2		图像3		图像4
方法	NIQE	SSEQ	NIQE	SSEQ	NIQE	SSEQ	NIQE	SSEQ
DCPDN	2.387	19.706	3.828	10.234	5.013	24.140	3.968	21.477
DehazeNet	2.897	8.608	3.247	22.409	4.832	16.333	3.790	50.192
GCANet	2.456	11.689	3.619	24.886	4.456	26.376	3.323	33.272
IDE	2.203	4.844	3.003	14.056	3.347	27.881	3.661	52.372
本文方法	2.143	2.677	2.788	7.901	3.081	16.222	2.982	17.940

参考文献 37

1	李超，黄新宇，王凯. 基于特征融合和自学习锚框的高分辨率图像小目标检测算法［J］. 电子学报， 2022， 50（7）： 1684-1695. 10.12263/DZXB.20200917
	LI C， HUANG X Y， WANG K. Small target detection of high-resolution images based on feature fusion and learnable anchor ［J］. Acta Electronica Sinica， 2022， 50（7）： 1684-1695. 10.12263/DZXB.20200917
2	任莎莎，刘琼. 小目标特征增强图像分割算法［J］. 电子学报， 2022， 50（8）：1894-1904. 10.12263/DZXB.20211123
	REN S S， LIU Q. A tiny target feature enhancement algorithm for image segmentation ［J］. Acta Electronica Sinica， 2022， 50（8）： 1894-1904. 10.12263/DZXB.20211123
3	KANG L-W， LIN C-W， FU Y-H. Automatic single-image-based rain streaks removal via image decomposition ［J］. IEEE Transactions on Image Processing， 2012， 21（4）： 1742-1755. 10.1109/tip.2011.2179057
4	LUO Y， XU Y， JI H. Removing rain from a single image via discriminative sparse coding ［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 3397-3405. 10.1109/iccv.2015.388
5	ZHU L， FU C-W， LISCHINSKI D， et al. Joint bi-layer optimization for single-image rain streak removal ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2545-2553. 10.1109/iccv.2017.276
6	LI Y， TAN R T， GUO X， et al. Rain streak removal using layer priors［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2736-2744. 10.1109/cvpr.2016.299
7	FU X， HUANG J， DING X， et al. Clearing the skies： a deep network architecture for single-image rain removal ［J］. IEEE Transactions on Image Processing， 2017， 26（6）： 2944-2956. 10.1109/tip.2017.2691802
8	REN D， ZUO W， HU Q， et al. Progressive image deraining networks： a better and simpler baseline ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3937-3946. 10.1109/cvpr.2019.00406
9	ZHANG H， SINDAGI V， PATEL V M. Image de-raining using a conditional generative adversarial network ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2019， 30（11）： 3943-3956. 10.1109/tcsvt.2019.2920407
10	YANG W， TAN R T， FENG J， et al. Deep joint rain detection and removal from a single image ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1357-1366. 10.1109/cvpr.2017.183
11	LI R， L-F CHEONG， TAN R T. Heavy rain image restoration： integrating physics model and conditional adversarial learning ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1633-1642. 10.1109/cvpr.2019.00173
12	盖杉，王俊生. 基于深度学习的非局部注意力增强网络图像去雨算法研究［J］. 电子学报， 2020， 48（10）： 1899-1908. 10.3969/j.issn.0372-2112.2020.10.004
	GAI S， WANG J S. Image raindrop algorithm research using nonlocal attention enhanced network based on deep learning ［J］. Acta Electronica Sinica， 2020， 48（10）： 1899-1908. 10.3969/j.issn.0372-2112.2020.10.004
13	GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
14	ZHU H， PENG X， ZHOU J T， et al. Singe image rain removal with unpaired information： A differentiable programming perspective［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33（1）： 9332-9339. 10.1609/aaai.v33i01.33019332
15	JIN X， CHEN Z， LIN J， et al. Unsupervised single image deraining with self-supervised constraints ［C］// Proceedings of the 2019 IEEE International Conference on Image Processing. Piscataway： IEEE， 2019： 2761-2765. 10.1109/icip.2019.8803238
16	WEI Y， ZHANG Z， WANG Y， et al. DerainCycleGAN： rain attentive CycleGAN for single image deraining and rainmaking ［J］. IEEE Transactions on Image Processing， 2021， 30： 4788-4801. 10.1109/tip.2021.3074804
17	ZHU J-Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2223-2232. 10.1109/iccv.2017.244
18	HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
19	WOO S， PARK J， LEE J-Y， et al. CBAM： convolutional block attention module ［C］// Proceedings of the 2018 European Conference on Computer Vision. Cham： Springer， 2018： 3-19. 10.1007/978-3-030-01234-2_1
20	WANG T， YANG X， XU K， et al. Spatial attentive single-image deraining with a high quality real rain dataset ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 12270-12279. 10.1109/cvpr.2019.01255
21	WANG C， WU Y， SU Z， et al. Joint self-attention and scale-aggregation for self-calibrated deraining network ［C］// Proceedings of the 28th ACM International Conference on Multimedia. New York： ACM， 2020： 2517-2525. 10.1145/3394171.3413559
22	ZHANG H， PATEL V M. Density-aware single image de-raining using a multi-stream dense network ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 695-704. 10.1109/cvpr.2018.00079
23	WEI W， MENG D， ZHAO Q， et al. Semi-supervised transfer learning for image rain removal ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3877-3886. 10.1109/cvpr.2019.00400
24	LI S， ARAUJO I B， REN W， et al. Single image deraining： a comprehensive benchmark analysis ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3838-3847. 10.1109/cvpr.2019.00396
25	ZHANG Y， DING L， SHARMA G. HazeRD： an outdoor scene dataset and benchmark for single image dehazing ［C］// Proceedings of the 2017 IEEE International Conference on Image Processing. Piscataway： IEEE， 2017： 3205-3209. 10.1109/icip.2017.8296874
26	FU X， HUANG J， ZENG D， et al. Removing rain from single images via a deep detail network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 3855-3863. 10.1109/cvpr.2017.186
27	FU X， LIANG B， HUANG Y， et al. Lightweight pyramid networks for image deraining ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（6）： 1794-1807. 10.1109/tnnls.2019.2926481
28	FU X， QI Q， ZHA Z-J， et al. Rain streak removal via dual graph convolutional network ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2021， 35（2）： 1352-1360. 10.1609/aaai.v35i2.16224
29	HUYNH-THU Q， GHANBARI M. Scope of validity of PSNR in image/video quality assessment ［J］. Electronics Letters， 2008， 44（13）： 800-801. 10.1049/el:20080522
30	WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612. 10.1109/tip.2003.819861
31	ZHANG R， ISOLA P， EFROS A A， et al. The unreasonable effectiveness of deep features as a perceptual metric ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 586-595. 10.1109/cvpr.2018.00068
32	MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer ［J］. IEEE Signal Processing Letters， 2012， 20（3）： 209-212. 10.1109/lsp.2012.2227726
33	LIU L， LIU B， HUANG H， et al. No-reference image quality assessment based on spatial and spectral entropies［J］. Signal Processing： Image Communication， 2014， 29（8）： 856-863. 10.1016/j.image.2014.06.006
34	ZHANG H， PATEL V M. Densely connected pyramid dehazing network ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 3194-3203. 10.1109/cvpr.2018.00337
35	CAI B， XU X， JIA K， et al. DehazeNet： an end-to-end system for single image haze removal ［J］. IEEE Transactions on Image Processing， 2016， 25（11）： 5187-5198. 10.1109/tip.2016.2598681
36	CHEN D， HE M， FAN Q， et al. Gated context aggregation network for image dehazing and deraining ［C］// Proceedings of the 2019 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2019： 1375-1383. 10.1109/wacv.2019.00151
37	JU M， DING C， REN W， et al. IDE： image dehazing and exposure using an enhanced atmospheric scattering model ［J］. IEEE Transactions on Image Processing， 2021， 30： 2180-2192. 10.1109/tip.2021.3050643

[1]	郭洁, 林佳瑜, 梁祖红, 罗孝波, 孙海涛. 基于知识感知和跨层次对比学习的推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1121-1127.
[2]	张鹏飞, 韩李涛, 冯恒健, 李洪梅. 基于注意力机制和全局特征优化的点云语义分割[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1086-1092.
[3]	袁泉, 陈昌平, 陈泽, 詹林峰. 基于BERT的两次注意力机制远程监督关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1080-1085.
[4]	尤昕源, 王恒. 基于门控膨胀卷积循环网络的单声道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1317-1324.
[5]	夏吾吉, 黄鹤鸣, 更藏措毛, 范玉涛. 基于无监督学习和监督学习的抽取式文本摘要综述[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1035-1048.
[6]	黄荣, 宋俊杰, 周树波, 刘浩. 基于自监督视觉Transformer的图像美学质量评价方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1269-1276.
[7]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[8]	许立君, 黎辉, 刘祖阳, 陈侃松, 马为駽. 基于3D‑Ghost卷积神经网络的脑胶质瘤MRI图像分割算法3D‑GA‑Unet[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1294-1302.
[9]	肖斌, 甘昀, 汪敏, 张兴鹏, 王照星. 基于端口注意力与通道空间注意力的网络异常流量检测[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1027-1034.
[10]	杨先凤, 汤依磊, 李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1058-1064.
[11]	王海涵, 朱焱. 融合反讽机制的攻击性言论检测[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1065-1071.
[12]	郑宇亮, 陈云华, 白伟杰, 陈平华. 融合事件数据和图像帧的车辆目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 931-937.
[13]	赵奎, 仇慧琪, 李旭, 徐知非. 结合注意力和多路径融合的实时肺结节检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 945-952.
[14]	董永峰, 白佳明, 王利琴, 王旭. 融合先验知识和字形特征的中文命名实体识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 702-708.
[15]	尚爱国, 朱欣娟. 基于多任务学习的意图检测和槽位填充联合方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 690-695.

非对称端到端的无监督图像去雨网络

Asymmetric unsupervised end-to-end image deraining network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 37

相关文章 15

编辑推荐

Metrics