结合注意力的双分支残差低光照图像增强

doi:10.11772/j.issn.1001-9081.2022030479

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (4): 1240-1247.DOI: 10.11772/j.issn.1001-9081.2022030479

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

结合注意力的双分支残差低光照图像增强

祖佳贞(), 周永霞, 陈乐

中国计量大学信息工程学院，杭州 310018

收稿日期:2022-04-13 修回日期:2022-06-07 接受日期:2022-06-14 发布日期:2023-04-11 出版日期:2023-04-10
通讯作者: 祖佳贞
作者简介:周永霞（1975—），男，浙江诸暨人，副教授，博士，主要研究方向：机器视觉、人工智能；
陈乐（1998—），男，浙江杭州人，硕士研究生，主要研究方向：图像处理。
基金资助:
浙江省自然科学基金资助项目(LY19F030013)

Dual-branch residual low-light image enhancement combined with attention

Jiazhen ZU(), Yongxia ZHOU, Le CHEN

College of Information Engineering，China Jiliang University，Hangzhou Zhejiang 310018，China

Received:2022-04-13 Revised:2022-06-07 Accepted:2022-06-14 Online:2023-04-11 Published:2023-04-10
Contact: Jiazhen ZU
About author:ZHOU Yongxia， born in 1975， Ph. D.， associate professor. His research interests include machine vision， artificial intelligence.
CHEN Le， born in 1998， M. S. candidate. His research interests include image processing.
Supported by:
Natural Science Foundation of Zhejiang Province(LY19F030013)

摘要/Abstract

摘要：

在低光条件下拍摄的照片会因曝光不足而产生一系列的视觉问题，如亮度低、信息丢失、噪声和颜色失真等。为了解决上述问题，提出一个结合注意力的双分支残差低光照图像增强网络。首先，采用改进InceptionV2提取浅层特征；其次，使用残差特征提取块（RFB）和稠密残差特征提取块（DRFB）提取深层特征；然后，融合浅层和深层特征，并将融合结果输入亮度调整块（BAM）调整亮度，最终得到增强图像。同时，结合注意力机制设计特征融合块（FFM）捕获重要的特征信息，以帮助恢复低光照图像的暗部区域。此外，引入一个联合损失函数从多方面衡量网络训练损失。实验结果表明，相较于鲁棒的视网膜大脑皮层模型（RRM）、Zero-DCE（Zero-Reference Deep Curve Estimation）和EnlightenGAN（Enlighten Generative Adversarial Network），在LOL（LOw-Light）数据集上，所提网络的峰值信噪比（PSNR）指标分别提高了49.9%、40.0%和18.5%；在LOL-V2数据集上，结构相似性（SSIM）指标分别提高了20.3%、50.0%和34.5%。所提网络在提高低光照图像亮度的同时降低了噪声，减少了颜色失真和伪影，得到的增强图像更加清晰自然。

关键词: 低光照, 图像增强, 注意力机制, 双分支, 联合损失函数

Abstract:

Photos taken in low-light conditions will suffer from a series of visual problems due to underexposure， such as low brightness， loss of information， noise and color distortion. In order to solve the above problems， a dual-branch residual low-light image enhancement network combined with attention was proposed. Firstly， the improved InceptionV2 was used to extract shallow features. Secondly， Residual Feature extraction Block （RFB） and Dense RFB （DRFB） were used to extract deep features. Thirdly， the shallow and deep features were fused， and the fusion result was input into Brightness Adjustment Module （BAM） to adjust the brightness， and finally the enhanced image was obtained. At the same time， a Feature Fusion Module （FFM） was designed in combination with attention mechanism to capture important feature information， which helped to restore dark areas in low-light images. In addition， a joint loss function was introduced to measure the network training loss from multiple aspects. Experimental results show that， compared with RRM （Robust Retinex Model）， Zero-DCE （Zero-reference Deep Curve Estimation） and EnlightenGAN （Enlighten Generative Adversarial Network）， on LOL （LOw-Light） dataset， the Peak Signal-to-Noise Ratio （PSNR） indicator of the proposed network is increased by 49.9%， 40.0% and 18.5% respectively. Meanwhile， the Structural Similarity Index Measure （SSIM） indicator of the proposed network is increased by 20.3%， 50.0% and 34.5% compared with those of the above three on LOL?V2 dataset. The proposed network improves the brightness of low-light images while reducing noise， color distortion and artifacts， resulting in sharper and more natural enhanced images.

Key words: low-light, image enhancement, attention mechanism, dual-branch, joint loss function

中图分类号:

TP391.4

祖佳贞, 周永霞, 陈乐. 结合注意力的双分支残差低光照图像增强[J]. 计算机应用, 2023, 43(4): 1240-1247.

Jiazhen ZU, Yongxia ZHOU, Le CHEN. Dual-branch residual low-light image enhancement combined with attention[J]. Journal of Computer Applications, 2023, 43(4): 1240-1247.

图/表 17

图1 DRA-Net的结构

Fig. 1 DRA-Net structure

图2 改进InceptionV2的结构

Fig. 2 Structure of improved InceptionV2

图3 稠密残差特征提取块的结构

Fig. 3 Structure of dense residual feature extraction module

图4 残差特征提取块的结构

Fig. 4 Structure of residual feature extraction module

图5 特征融合块结构

Fig. 5 Structure of feature fusion module

图6 亮度调整块结构

Fig. 6 Structure of brightness adjustment module

图7 不同模块组合的主观视觉效果图

Fig. 7 Subjective visual effect diagrams of different module combinations

表1 不同模块组合的客观评价结果

Tab. 1 Objective evaluation results of different module combinations

模块组合	PSNR/dB	SSIM	模块组合	PSNR/dB	SSIM
M1	22.61	0.854	M5	18.52	0.803
M2	22.37	0.864	M6	21.23	0.825
M3	21.55	0.862	M7	22.48	0.865
M4	21.47	0.860	本文算法	22.73	0.870

图8 不同损失组合主观视觉效果图

Fig. 8 Subjective visual effect diagrams of different loss combinations

表2 不同损失组合的客观评价结果

Tab. 2 Objective evaluation results of different loss combinations

损失组合名称	PSNR/dB	SSIM	损失组合名称	PSNR/dB	SSIM
L1	19.88	0.842	L3	22.11	0.861
L2	21.37	0.858	本文算法	22.73	0.870

图9 不同算法在LOL测试集上的主观视觉效果图

Fig. 9 Subjective visual effect diagrams of different algorithms on LOL test set

图10 不同算法在DICM、LIME、MEF测试集上的主观视觉效果图

Fig. 10 Subjective visual effect diagrams of different algorithms on MEF， LIME， MEF test sets

图11 不同算法在LOL-V2上主观视觉效果图

Fig. 11 Subjective visual effect diagrams of different algorithms on LOL-V2 test set

表3 不同算法在LOL、DICM、LIME、MEF测试集上的客观评价结果

Tab. 3 Objective evaluation results of different algorithms on LOL，DICM，LIME and MEF test sets

算法	LOL			DICM	LIME	MEF
算法	PSNR/dB	SSIM	NIQE	NIQE
LIME	16.92	0.504	8.795	3.783	4.347	3.827
SRIE	12.28	0.509	7.716	3.173	3.469	3.204
MF	16.69	0.508	9.713	3.544	4.103	3.400
NPE	16.97	0.484	9.135	3.521	3.840	3.547
RRM	13.88	0.664	3.952	3.406	4.033	3.883
Retinex-Net	14.98	0.328	9.729	4.320	4.908	4.905
GLADNet	16.94	0.552	6.797	3.114	3.404	3.180
MBLLEN	17.90	0.694	4.266	2.665	3.647	3.170
DeepUPE	12.90	0.465	7.994	2.954	3.462	3.178
EnlightenGAN	17.56	0.666	4.815	2.530	3.295	3.053
Zero-DCE	14.86	0.562	8.223	2.828	3.789	3.309
DLN	21.95	0.807	3.656	2.734	3.601	3.523
本文算法	20.80	0.822	3.638	2.523	3.255	2.990

表4 不同算法在LOL-V2测试集上的客观评价结果

Tab. 4 Objective evaluation results of different algorithms on LOL-V2 test set

算法	PSNR/dB	SSIM	FSIM
LIME	17.78	0.499	0.886
SRIE	15.10	0.541	0.929
MF	18.73	0.509	0.911
NPE	17.33	0.464	0.863
RRM	17.34	0.723	0.909
DeepUPE	14.81	0.483	0.924
EnlightenGAN	18.68	0.647	0.926
Zero-DCE	18.06	0.580	0.933
DRBN	20.13	0.830	0.946
本文算法	22.73	0.870	0.967

图12 不同算法在LOL-V2合成测试集上的主观视觉效果图

Fig. 12 Subjective visual effect diagrams of different algorithms on LOL-V2 synthetic test set

表5 不同算法在LOL-V2合成测试集上的客观评价结果

Tab. 5 Objective evaluation results of different algorithms on LOL-V2 synthetic test set

算法	PSNR/dB	SSIM	FSIM
LIME	17.19	0.764	0.872
SRIE	14.80	0.668	0.873
MF	17.50	0.773	0.914
NPE	16.60	0.776	0.904
RRM	17.15	0.730	0.877
DeepUPE	14.28	0.623	0.847
EnlightenGAN	16.49	0.771	0.888
Zero-DCE	17.76	0.814	0.926
DLN	18.12	0.840	0.932
本文算法	22.49	0.910	0.973

参考文献 30

1	欧嘉敏，胡晓，杨佳信. 改进Retinex-Net的低光照图像增强算法［J］. 模式识别与人工智能， 2021， 34（1）： 77-86.
	OU J M， HU X， YANG J X. Low-light image enhancement algorithm based on improved Retinex-Net［J］. Pattern Recognition and Artificial Intelligence， 2021， 34（1）： 77-86.
2	LAND E H. The retinex theory of color vision［J］. Scientific American， 1977， 237（6）： 108-128. 10.1038/scientificamerican1277-108
3	JOBSON D J， RAHMAN Z， WOODELL G A. Properties and performance of a center/surround retinex［J］. IEEE Transactions on Image Processing， 1997， 6（3）： 451-462. 10.1109/83.557356
4	JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes［J］. IEEE Transactions on Image Processing， 1997， 6（7）： 965-976. 10.1109/83.597272
5	卫依雪，周冬明，王长城，等. 结合多分支结构和U-net的低照度图像增强［J］. 计算机工程与应用， 2022， 58（12）： 199-208. 10.3778/j.issn.1002-8331.2011-0097
	WEI Y X， ZHOU D M， WANG C C， et al. Low-light image enhancement using multi-branch structure and U-net［J］. Computer Engineering and Applications， 2022， 58（12）： 199-208. 10.3778/j.issn.1002-8331.2011-0097
6	WANG S H， ZHENG J， HU H M， et al. Naturalness preserved enhancement algorithm for non-uniform illumination images［J］. IEEE Transactions on Image Processing， 2013， 22（9）： 3538-3548. 10.1109/tip.2013.2261309
7	FU X Y， LIAO Y H， ZENG D L， et al. A probabilistic method for image enhancement with simultaneous illumination and reflectance estimation［J］. IEEE Transactions on Image Processing， 2015， 24（12）： 4965-4977. 10.1109/tip.2015.2474701
8	GUO X J， LI Y， LING H B. LIME： low-light image enhancement via illumination map estimation［J］. IEEE Transactions on Image Processing， 2017， 26（2）： 982-993. 10.1109/tip.2016.2639450
9	FU X Y， ZENG D L， HUANG Y， et al. A fusion-based enhancing method for weakly illuminated images［J］. Signal Processing， 2016， 129： 82-96. 10.1016/j.sigpro.2016.05.031
10	王萌萌，彭敦陆. Retinex-ADNet：一个低光照图像增强系统［J］. 小型微型计算机系统， 2022， 43（2）： 367-371.
	WANG M M， PENG D L. Retinex-ADNet： a low-light image enhancement system［J］. Journal of Chinese Computer Systems， 2022， 43（2）： 367-371.
11	WEI C， WANG W J， YANG W H， et al. Deep Retinex decomposition for low-light enhancement［C］// Proceedings of the 2018 British Machine Vision Conference. Durham： BMVA Press， 2018： No.155. 10.48550/arXiv.1808.04560
12	WANG W J， WEI C， YANG W H， et al. GLADNet： low-light enhancement network with global awareness［C］// Proceedings of the 13th IEEE International Conference on Automatic Face and Gesture Recognition. Piscataway： IEEE， 2018： 751-755. 10.1109/fg.2018.00118
13	LV F F， LU F， WU J H， et al. MBLLEN： low-light image/video enhancement using CNNs［C］// Proceedings of the 2018 British Machine Vision Conference. Durham： BMVA Press， 2018： No.220.
14	WANG R X， ZHANG Q， FU C W， et al. Underexposed photo enhancement using deep illumination estimation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6842-6850. 10.1109/cvpr.2019.00701
15	JIANG Y F， GONG X Y， LIU D， et al. EnlightenGAN： deep light enhancement without paired supervision［J］. IEEE Transactions on Image Processing， 2021， 30： 2340-2349. 10.1109/tip.2021.3051462
16	GUO C L， LI C Y， GUO J C， et al. Zero-reference deep curve estimation for low-light image enhancement［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1777-1786. 10.1109/cvpr42600.2020.00185
17	RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
18	WANG L W， LIU Z S， SIU W C， et al. Lightening network for low-light image enhancement［J］. IEEE Transactions on Image Processing， 2020， 29： 7984-7996. 10.1109/tip.2020.3008396
19	SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2818-2826. 10.1109/cvpr.2016.308
20	WANG Q L， WU B G， ZHU P F， et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11531-11539. 10.1109/cvpr42600.2020.01155
21	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
22	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2022-06-07］..
23	YANG W H， WANG W J， HUANG H F， et al. Sparse gradient regularized deep Retinex network for robust low-light image enhancement［J］. IEEE Transactions on Image Processing， 2021， 30： 2072-2086. 10.1109/tip.2021.3050850
24	DANG-NGUYEN D T， PASQUINI C， CONOTTER V， et al. RAISE： a raw images dataset for digital image forensics［C］// Proceedings of the 6th ACM Multimedia Systems Conference. New York： ACM， 2015： 219-224. 10.1145/2713168.2713194
25	LEE C， LEE C， KIM C S. Contrast enhancement based on layered difference representation［C］// Proceedings of the 2012 19th IEEE International Conference on Image Processing. Piscataway： IEEE， 2012： 965-968. 10.1109/icip.2012.6467022
26	MA K， ZENG K， WANG Z. Perceptual quality assessment for multi-exposure image fusion［J］. IEEE Transactions on Image Processing， 2015， 24（11）： 3345-3356. 10.1109/tip.2015.2442920
27	ZHANG L， ZHANG L， MOU X Q， et al. FSIM： a feature similarity index for image quality assessment［J］. IEEE Transactions on Image Processing， 2011， 20（8）： 2378-2386. 10.1109/tip.2011.2109730
28	MITTAL A， SOUNDARARAJAN R， BOVIK A C. Making a “completely blind” image quality analyzer［J］. IEEE Signal Processing Letters， 2012， 20（3）： 209-212. 10.1109/lsp.2012.2227726
29	LI M D， LIU J Y， YANG W H， et al. Structure-revealing low-light image enhancement via robust Retinex model［J］. IEEE Transactions on Image Processing， 2018， 27（6）： 2828-2841. 10.1109/tip.2018.2810539
30	YANG W H， WANG S Q， FANG Y M， et al. From fidelity to perceptual quality： a semi-supervised approach for low-light image enhancement［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 3060-3069. 10.1109/cvpr42600.2020.00313

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[3]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[4]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[5]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[6]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[7]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[8]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[9]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[10]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[11]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[12]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.
[13]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[14]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[15]	毛典辉, 李学博, 刘峻岭, 张登辉, 颜文婧. 基于并行异构图和序列注意力机制的中文实体关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2018-2025.

结合注意力的双分支残差低光照图像增强

Dual-branch residual low-light image enhancement combined with attention

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 30

相关文章 15

编辑推荐

Metrics