基于特征融合的低光照场景下的自适应人脸识别

doi:10.11772/j.issn.1001-9081.2024101517

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (10): 3320-3327.DOI: 10.11772/j.issn.1001-9081.2024101517

• 多媒体计算与计算机仿真 • 上一篇

基于特征融合的低光照场景下的自适应人脸识别

汪书民, 李生林(), 周香伶

重庆邮电大学软件工程学院，重庆 400065

收稿日期:2024-10-28 修回日期:2025-02-11 接受日期:2025-02-12 发布日期:2025-10-14 出版日期:2025-10-10
通讯作者: 李生林
作者简介:汪书民（2000—），男，四川泸州人，硕士研究生，主要研究方向：人脸识别
李生林（1964—），男，四川泸州人，教授，博士，主要研究方向：人工智能、智慧城市 Email:lisl@cqupt.edu.cn
周香伶（1999—），女，重庆人，硕士研究生，主要研究方向：人脸识别。
基金资助:
国家自然科学基金资助项目(62106205)

Adaptive face recognition in low light scenarios based on feature fusion

Shumin WANG, Shenlin LI(), Xiangling ZHOU

School of Software Engineering，Chongqing University of Posts and Telecommunications，Chongqing 400065，China

Received:2024-10-28 Revised:2025-02-11 Accepted:2025-02-12 Online:2025-10-14 Published:2025-10-10
Contact: Shenlin LI
About author:WANG Shumin， born in 2000， M. S. candidate. His research interests include face recognition.
LI Shenlin， born in 1964， Ph. D.， professor. His research interests include artificial intelligence， smart city.
ZHOU Xiangling， born in 1999， M. S. candidate. Her research interests include face recognition.
Supported by:
National Natural Science Foundation of China(62106205)

摘要/Abstract

摘要：

现实场景中图像容易受外部光线条件或相机参数的影响而出现图像整体亮度过低、视觉效果不好和噪声多等问题，导致后续的人脸识别任务出现困难，从而引发工程问题。为此，针对低光照场景下的人脸识别任务，提出一种基于特征融合的低光照场景下的自适应人脸识别网络LLANet（Low Light Adaptive Face Recognition Network），该网络由分解子网络、恢复子网络、调节子网络和主干网络这4个部分组成。首先，根据Retinex理论将输入的低光照图像和正常光照图像分解为对应的照度图与反射图：照度图被输入调节子网络，在调节子网络中引入注意力机制，使网络聚焦于光照特征，不仅能提升低光照图像增强性能，还能确保增强图像的质量；反射图则输入恢复子网络，进行细节恢复与降噪操作，有效解决低光照图像反射图退化和噪声问题，将调节子网络与恢复子网络的输出进行特征融合，得到增强后的特征图。其次，为完成下游识别任务，且防止光照特征过拟合和人脸特征提取不准确，采用加权特征融合策略，融合主干网络提取的原始人脸特征与增强后的特征图，获得信息更丰富的特征图。最后，引入对抗性数据增强（ADA）策略，在训练时生成更多困难样本，在解决不适定问题的同时降低低光照图像在人脸检测阶段的对齐误差对网络的影响，进一步提升网络性能。在CASIA-FaceV5、SoF和YaleB这3个低光照人脸数据集上的实验结果表明，LLANet的识别率分别达到了94.67%、98.22%和97.24%，与ARoFace（Alignment Robust Face）相比，分别提高了2.14、1.58和2.10个百分点。可见，LLANet在低光照场景下有着较高的识别率。

关键词: 低光照图像增强, 人脸识别, 注意力机制, 特征融合, 对抗性数据增强

Abstract:

Images in real-world scenarios are affected easily by external lighting conditions or camera parameters， resulting in issues such as low overall brightness， poor visual effects， and much noise. These problems lead to difficulties in subsequent face recognition tasks， thereby causing engineering challenges. Therefore， an adaptive low-light face recognition network based on feature fusion， named LLANet （Low Light Adaptive face recognition Network）， was proposed with four parts： a decomposition subnet， a restoration subnet， an adjustment subnet， and a backbone network. Low-light and normal-light images were used as inputs. Firstly， based on Retinex theory， the input low-light and normal-light images were decomposed into the corresponding illumination and reflection maps. The illumination map was input into the adjustment subnet， where an attention mechanism was introduced to focus on lighting features， thereby enhancing the performance of low-light image enhancement and ensuring quality of the enhanced images. At the same time， the reflection map was input into the restoration subnet for detail restoration and noise reduction， thereby addressing degradation and noise issues of the reflection map in low-light images. And features of output of the adjustment and restoration subnets were fused to obtain the enhanced feature map. Then， to accomplish downstream face recognition tasks as well as prevent overfitting of lighting features and inaccuracies in face feature extraction， a weighted feature fusion strategy was adopted to combine the original face features extracted by the backbone network with the enhanced feature map， resulting in a feature map with richer information. Finally， an Adversarial Data Augmentation （ADA） strategy was introduced to generate more hard samples during training， thereby addressing the ill-posed problem while reducing the influence of alignment errors caused by low-light images during face detection phase， as a result， the network performance was further improved. Experimental results on CASIA-FaceV5， SoF， and YaleB low-light face datasets demonstrate that LLANet has the recognition rates reached 94.67%， 98.22%， and 97.24%， respectively， which are improved by 2.14， 1.58， and 2.10 percentage points on the three datasets， respectively， compared with ARoFace （Alignment Robust Face）. It can be seen that LLANet achieves high recognition accuracy in low-light scenarios.

Key words: low-light image enhancement, face recognition, attention mechanism, feature fusion, Adversarial Data Augmentation (ADA)

中图分类号:

TP391.41

汪书民, 李生林, 周香伶. 基于特征融合的低光照场景下的自适应人脸识别[J]. 计算机应用, 2025, 45(10): 3320-3327.

Shumin WANG, Shenlin LI, Xiangling ZHOU. Adaptive face recognition in low light scenarios based on feature fusion[J]. Journal of Computer Applications, 2025, 45(10): 3320-3327.

图/表 11

图1 LLANet的整体框架

Fig. 1 Overall framework of LLANet

图2 分解子网络

Fig. 2 Decomposition subnet

图3 恢复子网络

Fig. 3 Restoration subnet

图4 CBAM

Fig. 4 Structure of CBAM

图5 ResConv块

Fig. 5 ResConv block

图6 调节子网络

Fig. 6 Adjustment subnet

图7 不同光照场景下的反射图

Fig. 7 Reflection maps under different lighting scenarios

表1 LLANet与主流方法在常用数据集上的实验结果 (%)

Tab. 1 Experimental results of LLANet and mainstream methods on common datasets

方法	识别率
方法	CASIA-FaceV5	SoF	YaleB
CosFace^［15］	85.29	88.79	67.36
ArcFace^［16］	85.81	88.48	68.21
CurricularFace^［17］	86.54	90.21	70.37
MagFace^［18］	87.36	91.14	73.28
AdaFace^［19］	89.79	95.11	79.06
ARoFace^［2］	92.53	96.64	95.14
本文方法（α=0.3）	91.68	97.41	95.41
本文方法（α=0.5）	94.67	98.22	97.24
本文方法（α=0.7）	90.57	97.51	94.34

表2 LOL数据集上不同方法的图像质量评价指标对比

Tab. 2 Comparison of image quality evaluation indicators of different methods on LOL dataset

方法	PSNR/dB↑	SSIM↑
Retinex-Net^［25］	16.774 0	0.559 4
NPE^［28］	16.969 7	0.589 4
KinD^［29］	20.866 5	0.802 2
Zero-DCE^［30］	16.795 5	0.557 3
RUAS^［31］	18.226 0	0.717 0
URetinex-Net^［32］	21.328 2	0.834 8
Diff-Retinex^［33］	21.981 2	0.863 1
DEANet++^［34］	22.542 1	0.850 0
本文方法	22.630 0	0.868 6

表3 不同模块的消融实验结果 (%)

Tab. 3 Ablation experimental results of different modules

Fusion	CBAM	ADA	识别率
Fusion	CBAM	ADA	CASIA-FaceV5	SoF	YaleB
×	×	×	89.79	95.11	79.06
√	×	×	89.24	96.24	81.99
√	√	×	94.25	97.55	84.28
√	√	√	94.67	98.22	97.24

表4 图像质量的消融实验结果

Tab. 4 Ablation experimental results of image quality

CBAM	PSNR/dB	SSIM
×	20.866 5	0.802 2
√	22.630 0	0.868 6

参考文献 34

[1]	王坤. 基于卷积神经网络的低光照图像增强算法研究［D］. 赣州：江西理工大学， 2020.
	WANG K. Research on low light image enhancement algorithm based on convolutional neural network［D］. Ganzhou： Jiangxi University of Science and Technology， 2020.
[2]	SAADABADI M S E， MALAKSHAN S R， DABOUEI A， et al. ARoFace： alignment robustness to improve low-quality face recognition［C］// Proceedings of the 2024 European Conference on Computer Vision， LNCS 15091. Cham： Springer， 2025： 308-327.
[3]	TURK M A， PENTLAND A P. Face recognition using Eigenfaces［C］// Proceedings of the 1991 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 1991： 586-591.
[4]	SHARMA R， SHARMA V K， SINGH A. A review paper on facial recognition techniques［C］// Proceedings of the 5th International Conference on I-SMAC （IoT in Social， Mobile， Analytics and Cloud）. Piscataway： IEEE， 2021： 617-621.
[5]	BELHUMEUR P N， HESPANHA J P， KRIEGMAN D J. Eigenfaces vs. Fisherfaces： recognition using class-specific linear projection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1997， 19（7）： 711-720.
[6]	COMON P. Independent component analysis， a new concept？［J］. Signal Processing， 1994， 36（3）： 287-314.
[7]	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems — Volume 1. Red Hook： Curran Associates Inc.， 2012： 1097-1105.
[8]	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. ［2025-02-10］..
[9]	SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9.
[10]	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
[11]	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.
[12]	SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 815-823.
[13]	WEN Y， ZHANG K， LI Z， et al. A discriminative feature learning approach for deep face recognition［C］// Proceedings of the 2016 European Conference， LNCS 9911. Cham： Springer， 2016： 499-515.
[14]	DENG J， ZHOU Y， ZAFEIRIOU S. Marginal loss for deep face recognition［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 2006-2014.
[15]	WANG H， WANG Y， ZHOU Z， et al. CosFace： large margin cosine loss for deep face recognition［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 5265-5274.
[16]	DENG J， GUO J， XUE N， et al. ArcFace： additive angular margin loss for deep face recognition［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4685-4694.
[17]	HUANG Y， WANG Y， TAI Y， et al. CurricularFace： adaptive curriculum learning loss for deep face recognition［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 5900-5909.
[18]	MENG Q， ZHAO S， HUANG Z， et al. MagFace： a universal representation for face recognition and quality assessment［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 14220-14229.
[19]	KIM M， JAIN A K， LIU X. AdaFace： quality adaptive margin for face recognition［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 18729-18738.
[20]	LAND E H， McCANN J J. Lightness and Retinex theory［J］. Journal of the Optical Society of America， 1971， 61（1）： 1-11.
[21]	耿馨雨，余磊，唐保香，等. 注意力机制引导暗区域的低光照图像增强［J］. 微电子学与计算机， 2023， 40（3）： 20-28.
	GENG X Y， YU L， TANG B X， et al. Attention mechanisms guided low-light image enhancement in dark areas［J］. Microelectronics and Computer， 2023， 40（3）： 20-28.
[22]	汪星，贾晓芬. 多支路融合注意力机制的低光照图像增强［J］. 微电子学与计算机， 2022， 39（10）： 54-61.
	WANG X， JIA X F. Low light image enhancement with multi-branch fusion attention mechanism［J］. Microelectronics and Computer， 2022， 39（10）： 54-61.
[23]	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
[24]	WEI C， WANG W， YANG W， et al. Deep Retinex decomposition for low-light enhancement［C］// Proceedings of the 2018 British Machine Vision Conference. Durham： BMVA Press， 2018： No.451.
[25]	范溢华，王永振，燕雪峰，等. 人脸识别任务驱动的低光照图像增强算法［J］. 图学学报， 2022， 43（6）： 1170-1181.
	FAN Y H， WANG Y Z， YAN X F， et al. Face recognition-driven low-light image enhancement［J］. Journal of Graphics， 2022， 43（6）： 1170-1181.
[26]	REN D， MA H， SUN L， et al. A novel approach of low-light image used for face recognition［C］// Proceedings of the 4th International Conference on Computer Science and Network Technology. Piscataway： IEEE， 2015： 790-793.
[27]	HUANG Y H， CHEN H H. Deep face recognition for dim images［J］. Pattern Recognition， 2022， 126： No.108580.
[28]	WANG S， ZHENG J， HU H M， et al. Naturalness preserved enhancement algorithm for non-uniform illumination images［J］. IEEE Transactions on Image Processing， 2013， 22（9）： 3538-3548.
[29]	ZHANG Y， ZHANG J， GUO X. Kindling the darkness： a practical low-light image enhancer［C］// Proceedings of the 27th ACM International Conference on Multimedia. New York： ACM， 2019： 1632-1640.
[30]	LI C， GUO C， LOY C C. Learning to enhance low-light image via zero-reference deep curve estimation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（8）： 4225-4238.
[31]	LIU R， MA L， ZHANG J， et al. Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 10556-10565.
[32]	WU W， WENG J， ZHANG P， et al. URetinex-Net： Retinex-based deep unfolding network for low-light image enhancement［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 5891-5900.
[33]	YI X， XU H， ZHANG H， et al. Diff-Retinex： rethinking low-light image enhancement with a generative diffusion model［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2023： 12268-12277.
[34]	JIANG Y， ZHU J， LI L， et al. A joint network for low-light image enhancement based on Retinex［J］. Cognitive Computation， 2024， 16： 3241-3259.

基于特征融合的低光照场景下的自适应人脸识别

Adaptive face recognition in low light scenarios based on feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 34

相关文章 15

编辑推荐

Metrics

[1]	邓伊琳, 余发江. 基于LSTM和可分离自注意力机制的伪随机数生成器[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2893-2901.
[2]	梁一鸣, 范菁, 柴汶泽. 基于双向交叉注意力的多尺度特征融合情感分类[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2773-2782.
[3]	李维刚, 邵佳乐, 田志强. 基于双注意力机制和多尺度融合的点云分类与分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3003-3010.
[4]	王翔, 陈志祥, 毛国君. 融合局部和全局相关性的多变量时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2806-2816.
[5]	许志雄, 李波, 边小勇, 胡其仁. 对抗样本嵌入注意力U型网络的3D医学图像分割[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3011-3016.
[6]	王芳, 胡静, 张睿, 范文婷. 内容引导下多角度特征融合医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3017-3025.
[7]	吕景刚, 彭绍睿, 高硕, 周金. 复频域注意力和多尺度频域增强驱动的语音增强网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2957-2965.
[8]	习怡萌, 邓箴, 刘倩, 刘立波. 跨模态信息融合的视频-文本检索[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2448-2456.
[9]	颜承志, 陈颖, 钟凯, 高寒. 基于多尺度网络与轴向注意力的3D目标检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2537-2545.
[10]	吴海峰, 陶丽青, 程玉胜. 集成特征注意力和残差连接的偏标签回归算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2530-2536.
[11]	周金, 李玉芝, 张徐, 高硕, 张立, 盛家川. 复杂电磁环境下的调制识别网络[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2672-2682.
[12]	敬超, 全育涛, 陈艳. 基于多层感知机-注意力模型的功耗预测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2646-2655.
[13]	林进浩, 罗川, 李天瑞, 陈红梅. 基于跨尺度注意力网络的胸部疾病分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2712-2719.
[14]	梁辰, 王奕森, 魏强, 杜江. 基于Tsransformer-GCN的源代码漏洞检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2296-2303.
[15]	刘皓宇, 孔鹏伟, 王耀力, 常青. 基于多视角信息的行人检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2325-2332.