结合信噪比引导的双分支结构和直方图均衡的低照度图像增强网络

doi:10.11772/j.issn.1001-9081.2024060762

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (6): 1971-1979.DOI: 10.11772/j.issn.1001-9081.2024060762

• 多媒体计算与计算机仿真 • 上一篇

结合信噪比引导的双分支结构和直方图均衡的低照度图像增强网络

黄颖(), 高胜美, 陈广, 刘苏

重庆邮电大学软件工程学院，重庆 400065

收稿日期:2024-06-05 修回日期:2024-09-17 接受日期:2024-09-19 发布日期:2024-10-12 出版日期:2025-06-10
通讯作者: 黄颖
作者简介:黄颖（1978—），男，湖南岳阳人，副教授，博士，CCF会员，主要研究方向：图像处理、图像融合、图像质量评估、计算成像、智能信息处理、模式识别 huangying@cqupt.edu.cn
高胜美（2000—），女，河南鹤壁人，硕士研究生，主要研究方向：低照度图像增强
陈广（2001—），男，重庆人，硕士研究生，主要研究方向：图像增强
刘苏（1990—），女，山东菏泽人，讲师，博士，主要研究方向：雷达目标识别、SAR图像处理、视频行为识别。
基金资助:
国家自然科学基金面上项目(62471076)

Low-light image enhancement network combining signal-to-noise ratio guided dual-branch structure and histogram equalization

Ying HUANG(), Shengmei GAO, Guang CHEN, Su LIU

School of Software Engineering，Chongqing University of Posts and Telecommunications，Chongqing 400065，China

Received:2024-06-05 Revised:2024-09-17 Accepted:2024-09-19 Online:2024-10-12 Published:2025-06-10
Contact: Ying HUANG
About author:HUANG Ying， born in 1978， Ph. D.， associate professor. His research interests include image processing， image fusion， image quality evaluation， computational imaging， intelligent information processing， pattern recognition.
GAO Shengmei， born in 2000， M. S. candidate. Her research interests include low-light image enhancement.
CHEN Guang， born in 2001， M. S. candidate. His research interests include image enhancement.
LIU Su， born in 1990， Ph. D.， lecturer. Her research interests include radar target recognition， SAR image processing， video behavior recognition.
Supported by:
National Natural Science Foundation of China(62471076)

摘要/Abstract

摘要：

针对基于深度学习的低照度图像增强（LLIE）技术普遍依赖成对的数据集进行训练的问题，考虑实际应用中配对数据集的获取难度较高及其可能导致网络的泛化能力受限的问题，提出一种结合信噪比（SNR）引导的双分支结构和直方图均衡（HE）的LLIE网络，从而摆脱对配对数据集的依赖。首先，在生成对抗网络（GAN）的框架上，引入卷积神经网络（CNN）和Transformer的双分支结构，并使用SNR图像指导网络自适应地增强图像的不同区域，以有效平衡图像增强和噪声抑制；其次，采用经HE处理的低照度图像约束生成结果，从而显著提升生成图像的纹理细节；最后，在鉴别器部分，结合全局与局部鉴别器确保生成图像与参考图像在分布上的一致性，进一步提高图像的视觉质量。为了验证所提网络的有效性，在LOL与LSRW测试集上进行测试，与包含监督和无监督的10种先进方法进行比较。实验结果表明，在LOL数据集上，所提网络的峰值信噪比（PSNR）为19.15 dB，结构相似性指数（SSIM）为0.705 1，均位列第2名；在LSRW数据集中，所提网络以17.28 dB的PSNR和0.485 7的SSIM分别获得第1名与第2名；具体地，在LSRW数据集上，所提网络的PSNR相较于KinD （Kindling the Darkness）和EnlightenGAN（deep light Enhancement without paired supervision Generative Adversarial Network）方法分别提升了15.7%和9.6%。可见，所提网络与无监督方法和部分有监督方法相比均展现了更优越的性能，且显著提升了生成图像的质量。

关键词: 低照度图像增强, 无监督学习, 生成对抗网络, 直方图均衡, 特征融合

Abstract:

Aiming at the problem that deep learning-based Low-Light Image Enhancement （LLIE） techniques generally rely on paired datasets for training， considering the difficulty of acquiring paired datasets in practical applications and its possible limitation of network generalization ability， an LLIE network combining Signal-to-Noise Ratio （SNR） guided dual-branch structure and Histogram Equalization （HE） was proposed to get rid of the dependence on paired datasets. Firstly， based on the Generative Adversarial Network （GAN） framework， a dual-branch structure of Convolutional Neural Network （CNN） and Transformer was introduced， and SNR images were used to guide the network to enhance different regions of the image adaptively， thereby obtaining a balance between image enhancement and noise suppression effectively. Then， HE processed low-light images were adopted to constrain the generation results， thereby enhancing texture details in the generated images significantly. Finally， in the discriminator part， global and local discriminators were combined to ensure distributional consistency between the generated and reference images， thereby further improving visual quality of the image. To test the effectiveness of the proposed network， evaluations were conducted on LOL and LSRW test sets， and the proposed network was compared with 10 state-of-the-art methods， including both supervised and unsupervised methods. Experimental results show that on LOL dataset， the proposed network achieves both second place in Peak Signal-to-Noise Ratio （PSNR）（19.15 dB） and Structural Similarity Index （SSIM）（0.705 1）； on LSRW dataset， the proposed network achieves first and second places with PSNR of 17.28 dB and SSIM of 0.485 7， respectively. In particular， the PSNR on LSRW dataset of the proposed network is improved by 15.7% and 9.6%， respectively， compared to those of KinD （Kindling the Darkness） and EnlightenGAN （deep light Enhancement without paired supervision Generative Adversarial Network）methods. It can be seen that the excellent performance of the proposed network makes it outperforms unsupervised and some supervised methods， and the proposed network improves quality of the generated images significantly.

Key words: Low-Light Image Enhancement (LLIE), unsupervised learning, Generative Adversarial Network (GAN), Histogram Equalization (HE), feature fusion

中图分类号:

TP391.41

黄颖, 高胜美, 陈广, 刘苏. 结合信噪比引导的双分支结构和直方图均衡的低照度图像增强网络[J]. 计算机应用, 2025, 45(6): 1971-1979.

Ying HUANG, Shengmei GAO, Guang CHEN, Su LIU. Low-light image enhancement network combining signal-to-noise ratio guided dual-branch structure and histogram equalization[J]. Journal of Computer Applications, 2025, 45(6): 1971-1979.

图/表 9

图1 所提网络与先进方法的可视化比较

Fig. 1 Visual comparison of proposed network and state-of-the-art methods

图2 本文网络的整体架构

Fig. 2 Overview architecture of proposed network

图3 SNR图像求取流程

Fig. 3 Flow of obtaining SNR image

图4 不同图像提取的特征对比

Fig. 4 Comparison of features extracted from different images

表1 在LOL和LSRW数据集上不同网络的得分

Tab. 1 Scores of different networks on LOL and LSRW datasets

方法类型	网络	LOL		LSRW
方法类型	网络	PSNR↑/ dB	SSIM↑	PSNR↑/ dB	SSIM↑
基于模型的方法	LECARM	14.41	0.541 3	15.32	0.421 8
基于模型的方法	SDD	13.34	0.636 8	14.74	0.485 4
监督学习方法	RetinexNet	17.61	0.647 9	15.29	0.403 3
	DeepUPE	12.71	0.451 0	13.49	0.366 5
	KinD	19.66	0.820 0	15.97	0.497 8
无监督学习方法Ⅰ	Zero-DCE	14.86	0.558 8	15.71	0.446 4
	EnlightenGAN	17.48	0.650 7	16.86	0.458 8
	RUAS	16.40	0.499 6	13.97	0.475 7
	SCI	14.78	0.522 0	15.11	0.419 6
	PSENet	17.50	0.542 5	15.94	0.437 1
	本文网络	19.24	0.7216	18.48	0.4946
无监督学习方法Ⅱ	NeRCo^*	19.84	0.774 3	19.00	0.536 0
无监督学习方法Ⅱ	本文网络^*	19.78	0.716 4	18.28	0.589 1

图5 在LOL数据集测试集上先进方法和本文网络的可视化比较

Fig. 5 Visual comparison of state-of-the-art methods and proposed network on LOL test set

图6 在LSRW数据集测试集上先进方法和本文网络的可视化比较

Fig. 6 Visual comparison of state-of-the-art methods and proposed network on LSRW test set

表2 变体的定量比较

Tab. 2 Quantitative comparison of variants

变体	LOL		LSRW
变体	PSNR/dB↑	SSIM↑	PSNR/dB↑	SSIM↑
$w / o L h f p$	16.61	0.664 6	16.18	0.486 9
$w / o L g r a$	19.22	0.662 4	17.63	0.452 7
$w / o L e x p$	18.04	0.651 2	18.22	0.480 0
$w / o L$	19.06	0.681 0	16.37	0.462 7
$w / o S$	19.20	0.664 7	17.61	0.452 3
$w / o p a t c h G A N$	19.12	0.639 9	16.86	0.441 8
本文网络	19.24	0.721 6	18.48	0.494 6

表2 变体的定量比较

Tab. 2 Quantitative comparison of variants

变体	LOL		LSRW
变体	PSNR/dB↑	SSIM↑	PSNR/dB↑	SSIM↑
$w / o L h f p$	16.61	0.664 6	16.18	0.486 9
$w / o L g r a$	19.22	0.662 4	17.63	0.452 7
$w / o L e x p$	18.04	0.651 2	18.22	0.480 0
$w / o L$	19.06	0.681 0	16.37	0.462 7
$w / o S$	19.20	0.664 7	17.61	0.452 3
$w / o p a t c h G A N$	19.12	0.639 9	16.86	0.441 8
本文网络	19.24	0.721 6	18.48	0.494 6

图7 在LOL数据集上对各模块影响的消融结果

Fig. 7 Ablation results of different modules on LOL dataset

参考文献 38

1	RASHED H， RAMZY M I， VAQUERO V， et al. FuseMODNet： real-time camera and LiDAR based moving object detection for robust low-light autonomous driving ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision Workshops. Piscataway： IEEE， 2019： 2393-2402.
2	TAN X， XU K， CAO Y， et al. Night-time scene parsing with a large real dataset［J］. IEEE Transactions on Image Processing， 2021， 30： 9085-9098.
3	WANG Y， WAN R， YANG W， et al. Low-light image enhancement with normalizing flow［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 2604-2612.
4	XU X， WANG R， LU J. Low-light image enhancement via structure modeling and guidance［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 9893-9903.
5	WU Y， PAN C， WANG G， et al. Learning semantic-aware knowledge guidance for low-light image enhancement［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 1662-1671.
6	YANG W， WANG S， FANG Y， et al. From fidelity to perceptual quality： a semi-supervised approach for low-light image enhancement ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 3060-3069.
7	JIANG Y， GONG X， LIU D， et al. EnlightenGAN： deep light enhancement without paired supervision ［J］. IEEE Transactions on Image Processing， 2021， 30： 2340-2349.
8	LIU R， MA L， ZHANG J， et al. Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 10556-10565.
9	LAND E H， McCANN J J. Lightness and retinex theory［J］. Journal of the Optical Society of America， 1971， 61（1）： 1-11.
10	MA L， MA T， LIU R， et al. Toward fast， flexible， and robust low-light image enhancement ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 5627-5636.
11	GUO C， LI C， GUO J， et al. Zero-reference deep curve estimation for low-light image enhancement［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1777-1786.
12	LI C， GUO C， LOY C C. Learning to enhance low-light image via zero-reference deep curve estimation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（8）： 4225-4238.
13	NGUYEN H， TRAN D， NGUYEN K， et al. PSENet： progressive self-enhancement network for unsupervised extreme-light image enhancement［C］// Proceedings of the 2023 IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2023： 1756-1765.
14	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
15	STARK J A. Adaptive image contrast enhancement using generalizations of histogram equalization［J］. IEEE Transactions on Image Processing， 2000， 9（5）： 889-896.
16	GUO X， LI Y， LING H. LIME： low-light image enhancement via illumination map estimation［J］. IEEE Transactions on Image Processing， 2017， 26（2）： 982-993.
17	韩殿元. 低照度下视频图像保细节直方图均衡化方法［J］. 计算机仿真， 2013， 30（8）： 233-236， 300.
	HAN D Y. Details keeping histogram equalization approach of low-illumination video image［J］. Computer Simulation， 2013， 30（8）： 233-236， 300.
18	WEI C， WANG W， YANG W， et al. Deep Retinex decomposition for low-light enhancement［C］// Proceedings of the 2018 British Machine Vision Conference. Durham： BMVA Press， 2018： No.451.
19	FU Z， YANG Y， TU X， et al. Learning a simple low-light image enhancer from paired low-light instances［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 22252-22261.
20	MA T， GUO M， YU Z， et al. RetinexGAN： unsupervised low-light enhancement with two-layer convolutional decomposition networks ［J］. IEEE Access， 2021， 9： 56539-56550.
21	ZHAO Z， XIONG B， WANG L， et al. RetinexDIP： a unified deep framework for low-light image enhancement［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2022， 32（3）： 1076-1088.
22	YANG S， DING M， WU Y， et al. Implicit neural representation for cooperative low-light image enhancement［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2023：12872-12881.
23	ZHANG Y， ZHANG J， GUO X. Kindling the darkness： a practical low-light image enhancer ［C］// Proceedings of the 27th ACM International Conference on Multimedia. New York： ACM， 2019： 1632-1640.
24	WU Y， SONG W， ZHENG J， et al. N2PN： non-reference two-pathway network for low-light image enhancement［J］. Applied Intelligence， 2022， 52（4）： 3559-3576.
25	RONNEBERGER O， FISCHER P， BROX T， et al. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
26	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.
27	DABOV K， FOI A， KATKOVNIK V， et al. Image denoising with block-matching and 3D filtering［C］// Proceedings of the SPIE 6064， 2006 Image Processing： Algorithms and Systems， Neural Networks， and Machine Learning. Bellingham， WA： SPIE， 2006： No.606414.
28	BUADES A， COLL B， MOREL J M. A non-local algorithm for image denoising［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition — Volume 2. Piscataway： IEEE， 2005： 60-65.
29	JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 694-711.
30	JOLICOEUR-MARTINEAU A. The relativistic discriminator： a key element missing from standard GAN ［EB/OL］. ［2024-05-17］..
31	MAO X， LI Q， XIE H， et al. Least squares generative adversarial networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2813-2821.
32	DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009： 248-255.
33	LIU S， DENG W. Very deep convolutional neural network based image classification using small training sample size［C］// Proceedings of the 3rd IAPR Asian Conference on Pattern Recognition. Piscataway： IEEE， 2015： 730-734.
34	HAI J， XUAN Z， YANG R， et al. R2RNet： low-light image enhancement via real-low to real-normal network［J］. Journal of Visual Communication and Image Representation， 2023， 90： No.103712.
35	WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.
36	REN Y， YING Z， LI T H， et al. LECARM： low-light image enhancement using the camera response model［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2019， 29（4）： 968-981.
37	HAO S， HAN X， GUO Y， et al. Low-light image enhancement with semi-decoupled decomposition［J］. IEEE Transactions on Multimedia， 2020， 22（12）： 3025-3038.
38	WANG R， ZHANG Q， FU C W， et al. Underexposed photo enhancement using deep illumination estimation ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6842-6850.

[1]	吴宗航, 张东, 李冠宇. 基于联合自监督学习的多模态融合推荐算法[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1858-1868.
[2]	何玉林, 李旭, 贺颖婷, 崔来中, 黄哲学. 基于最大均值差异的子空间高斯混合模型聚类集成算法[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1712-1723.
[3]	李慧, 贾炳志, 王晨曦, 董子宇, 李纪龙, 仲兆满, 陈艳艳. 基于Swin Transformer的生成对抗网络水下图像增强模型[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1439-1446.
[4]	杨雅莉, 黎英, 章育涛, 宋佩华. 面向人脸识别的多模态研究方法综述[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1645-1657.
[5]	王文鹏, 秦寅畅, 师文轩. 工业缺陷检测无监督深度学习方法综述[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1658-1670.
[6]	周阳, 李辉. 基于语义和细节特征双促进的遥感影像建筑物提取网络[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1310-1316.
[7]	安俊秀, 杨林旺, 柳源. 基于邻近性语义感知的无监督文本风格迁移[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1139-1147.
[8]	郭诗月, 党建武, 王阳萍, 雍玖. 结合注意力机制和多尺度特征融合的三维手部姿态估计[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1293-1299.
[9]	潘理虎, 彭守信, 张睿, 薛之洋, 毛旭珍. 面向运动前景区域的视频异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1300-1309.
[10]	王一丁, 王泽浩, 李耀利, 蔡少青, 袁媛. 多尺度2D-Adaboost的中药材粉末显微图像识别算法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1325-1332.
[11]	周浩, 王超, 崔国恒, 罗廷金. 基于多语义关联与融合的视觉问答模型[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 739-745.
[12]	马汉达, 吴亚东. 多域时空层次图神经网络的空气质量预测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 444-452.
[13]	上官宏, 任慧莹, 张雄, 韩兴隆, 桂志国, 王燕玲. 基于双编码器双解码器GAN的低剂量CT降噪模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 624-632.
[14]	何秋润, 胡节, 彭博, 李天源. 基于上下文信息的多尺度特征融合织物疵点检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 640-646.
[15]	张众维, 王俊, 刘树东, 王志恒. 多尺度特征融合与加权框融合的遥感图像目标检测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 633-639.

结合信噪比引导的双分支结构和直方图均衡的低照度图像增强网络

Low-light image enhancement network combining signal-to-noise ratio guided dual-branch structure and histogram equalization

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 38

相关文章 15

编辑推荐

Metrics