基于深度残差网络的轻量级人脸识别方法

doi:10.11772/j.issn.1001-9081.2021050880

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2030-2036.DOI: 10.11772/j.issn.1001-9081.2021050880

所属专题：人工智能

基于深度残差网络的轻量级人脸识别方法

贺怀清, 闫建青(), 惠康华

中国民航大学计算机科学与技术学院，天津 300300

收稿日期:2021-05-27 修回日期:2021-09-03 接受日期:2021-09-15 发布日期:2021-09-03 出版日期:2022-07-10
通讯作者: 闫建青
作者简介:贺怀清（1969—），女，吉林白山人，教授，博士，CCF会员，主要研究方向：图形、图像、可视化分析
惠康华（1982—），男，江苏连云港人，副教授，博士，主要研究方向：图像处理。
基金资助:
国家重点研发计划项目(2020YFB1600101);天津市教委科研计划项目(2020KJ024)

Lightweight face recognition method based on deep residual network

Huaiqing HE, Jianqing YAN(), Kanghua HUI

College of Computer Science and Technology，Civil Aviation University of China，Tianjin 300300，China

Received:2021-05-27 Revised:2021-09-03 Accepted:2021-09-15 Online:2021-09-03 Published:2022-07-10
Contact: Jianqing YAN
About author:HE Huaiqing， born in 1969， Ph. D.， professor. Her research interests include graphics， image and visual analysis.
HUI Kanghua， born in 1982， Ph. D.， associate professor. His research interests include image processing.
Supported by:
National Key Research and Development Program of China(2020YFB1600101);Scientific Research Program of Tianjin Municipal Education Commission(2020KJ024)

摘要/Abstract

摘要：

针对深度残差网络在小型移动设备的人脸识别应用中存在的网络结构复杂、时间开销大等问题，提出一种基于深度残差网络的轻量级模型。首先对深度残差网络的结构进行精简优化，并结合知识转移方法，从深度残差网络（教师网络）中重构出轻量级残差网络（学生网络），从而在保证精度的同时，降低网络的结构复杂度；然后在学生网络中通过分解标准卷积减少模型的参数，从而降低特征提取网络的时间复杂度。实验结果表明，在LFW、VGG-Face、AgeDB和CFP-FP等4个不同数据集上，所提模型在识别精度接近主流人脸识别方法的同时，单张推理时间达到16 ms，速度提升了10%~20%。可见，所提模型能够在推理速度得到有效提升的同时识别精度基本不下降。

关键词: 深度残差网络, 人脸识别, 轻量级, 知识蒸馏, 深度可分离卷积

Abstract:

As deep residual network has problems such as complex network structure and high time cost in face recognition applications of small mobile devices， a lightweight model based on deep residual network was proposed. Firstly， by simplifying and optimizing the structure of the deep residual network and combining the knowledge transfer method， a lightweight residual network （student network） was reconstructed from the deep residual network （teacher network）， which reduced the network structural complexity while ensuring accuracy. Then， in the student network， the parameters of the model were reduced by decomposing standard convolution， thereby reducing the time complexity of the feature extraction network. Experimental results show that on four different datasets such as LFW （Labeled Faces in the Wild）， VGG-Face （Visual Geometry Group Face）， AgeDB （Age Database） and CFP-FP （Celebrities in Frontal Profile with Frontal-Profile）， with the recognition accuracy close to the mainstream face recognition methods， the proposed model has the time of reasoning reaches 16 ms every image， and the speed is increased by 10% to 20%. Therefore， the proposed model can have the speed of reasoning effectively improved with the recognition accuracy basically not reduced.

Key words: deep residual network, face recognition, lightweight, Knowledge Distillation (KD), Depthwise Separable Convolution (DSC)

中图分类号:

TP391.41

贺怀清, 闫建青, 惠康华. 基于深度残差网络的轻量级人脸识别方法[J]. 计算机应用, 2022, 42(7): 2030-2036.

Huaiqing HE, Jianqing YAN, Kanghua HUI. Lightweight face recognition method based on deep residual network[J]. Journal of Computer Applications, 2022, 42(7): 2030-2036.

图/表 7

图1 轻量级人脸残差网络模型

Fig. 1 Lightweight face residual network model

表1 轻量级人脸识别残差网络各层结构

Tab. 1 Each layer structure of lightweight face recognition residual network

层类型	输入尺寸	输出尺寸
Conv1	3×112×112	64×112×112
Block1	64×112×112	64×56×56
Block2	64×56×56	128×28×28
Block3	128×28×28	256×14×14
Block4	256×14×14	512×7×7
FC	512×7×7	1×25 088

表2 在不同数据集上师生网络的实验结果

Tab. 2 Experimental results of teacher/student network on different datasets

模型	数据集精度/%		单张识别时间/ms	空间开销/MB
模型	LFW	VGG-Face	单张识别时间/ms	空间开销/MB
ResNet101	99.62	96.35	30	870.22
ResNet50	99.46	95.95	23	369.55
DSLR	98.82	95.83	16	131.13

表3 不同数据集上的多方法实验结果对比

Tab. 3 Experimental results comparison of multiple methods on different datasets

方法	数据集精度/%				单张识别时间/ms
方法	LFW	VGG-Face	AgeDB	CFP-FP	单张识别时间/ms
MobiFace	98.60	95.70	92.32	92.83	15
HRNet	99.40	95.98	93.10	93.65	20
GhostNet	99.17	95.81	91.97	92.67	18
DSLR	98.82	95.83	92.43	93.24	16

图2 DSLR和MobiFace在不同测试集上的结果

Fig. 2 Results of DSLR and MobiFace on different test sets

图3 DSLR在CASIA-WebFace上的训练损失

Fig. 3 Training loss of DSLR on CASIA-WebFace

表4 深度可分离卷积加入DSLR后在不同数据集上的实验结果对比

Tab. 4 Experimental results comparison of adding depthwise separable convolution to DSLR on different datasets

方法	数据集精度/%		单张识别时间/ms
方法	LFW	VGG-Face	单张识别时间/ms
IR	98.85	95.91	18
IR+DSC	98.79	95.74	16
IR+DSC+SE	98.82	95.83	16

参考文献 26

1	李东博，黄铝文. 重加权稀疏主成分分析算法及其在人脸识别中的应用［J］. 计算机应用， 2020， 40（3）：717-722.
	LI D B， HUANG L W. Reweighted sparse principal component analysis algorithm and its application in face recognition［J］. Journal of Computer Applications， 2020， 40（3）： 717-722.
2	徐竟泽，吴作宏，徐岩，等. 融合PCA、LDA和SVM算法的人脸识别［J］. 计算机工程与应用， 2019， 55（18）：34-37.
	XU J Z， WU Z H， XU Y， et al. Face recognition based on PCA， LDA and SVM algorithms［J］. Computer Engineering and Applications， 2019， 55（18）： 34-37.
3	丁莲静，刘光帅，李旭瑞，等. 加权信息熵与增强局部二值模式结合的人脸识别［J］. 计算机应用， 2019， 39（8）：2210-2216. 10.11772/j.issn.1001-9081.2019010181
	DING L J， LIU G S， LI X R， et al. Face recognition combining weighted information entropy with enhanced local binary pattern［J］. Journal of Computer Applications， 2019， 39（8）： 2210-2216. 10.11772/j.issn.1001-9081.2019010181
4	SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 815-823. 10.1109/cvpr.2015.7298682
5	PARKHI O M， VEDALDI A， ZISSERMAN A. Deep face recognition［C］// Proceedings of the 2015 British Machine Vision Conference. Durham： BMVA Press， 2015： No.41. 10.5244/c.29.41
6	HU J， SHEN L， SUN G， Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
7	LIU W Y， WEN Y D， YU Z D， et al. SphereFace： deep hypersphere embedding for face recognition［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6738-6746. 10.1109/cvpr.2017.713
8	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
9	WANG H， WANG Y T， ZHOU Z， et al. CosFace： large margin cosine loss for deep face recognition［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 5265-5274. 10.1109/cvpr.2018.00552
10	DENG J K， GUO J， XUE N N， et al. ArcFace： additive angular margin loss for deep face recognition［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4685-4694. 10.1109/cvpr.2019.00482
11	HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）［2021-03-12］..
12	ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6848-6856. 10.1109/cvpr.2018.00716
13	WANG M J， LIU R J， ABE N， et al. Discover the effective strategy for face recognition model compression by improved knowledge distillation［C］// Proceedings of the 25th IEEE International Conference on Image Processing. Piscataway： IEEE， 2018： 2416-2420. 10.1109/icip.2018.8451808
14	YAN M J， ZHAO M G， XU Z N， et al. VarGFaceNet： an efficient variable group convolutional neural network for lightweight face recognition［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision Workshop. Piscataway： IEEE， 2019： 2647-2654. 10.1109/iccvw.2019.00323
15	GE S M， ZHAO S W， LI C Y， et al. Low-resolution face recognition in the wild via selective knowledge distillation［J］. IEEE Transactions on Image Processing， 2019， 28（4）： 2051-2062. 10.1109/tip.2018.2883743
16	HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network［EB/OL］. （2015-03-09）［2021-03-12］..
17	HAN S， POOL J， TRAN J， et al. Learning both weights and connections for efficient neural networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 1135-1143.
18	WU J X， LENG C， WANG Y H， et al. Quantized convolutional neural networks for mobile devices［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016：4820-4828. 10.1109/cvpr.2016.521
19	YI D， LEI Z， LIAO S C， et al. Learning face representation from scratch［EB/OL］. （2014-11-28）［2021-03-12］..
20	HUANG G B， RAMESH M， BERG T， et al. Labeled faces in the wild： a database for studying face recognition in unconstrained environments［EB/OL］. ［2021-03-12］..
21	MOSCHOGLOU S， PAPAIOANNOU A， SAGONAS C， et al. AgeDB： the first manually collected， in-the-wild age database［C］// Proceeding of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1997-2005. 10.1109/cvprw.2017.250
22	SENGUPTA S， CHEN J C， CASTILLO C， et al. Frontal to profile face verification in the wild［C］// Proceeding of the 2016 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2016： 1-9. 10.1109/wacv.2016.7477558
23	ZHOU E J， CAO Z M， SUN J. GridFace： face rectification via learning local homography transformations［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11220. Cham： Springer， 2018： 3-20.
24	DUONG C N， QUACH K G， JALATA I， et al. MobiFace： a lightweight deep learning face recognition on mobile devices［C］// Proceedings of the IEEE 10th International Conference on Biometrics Theory， Applications and Systems. Piscataway： IEEE， 2019： 1-6. 10.1109/btas46853.2019.9185981
25	SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5686-5696. 10.1109/cvpr.2019.00584
26	HAN K， WANG Y H， TIAN Q， et al. GhostNet： more features from cheap operations［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1577-1586. 10.1109/cvpr42600.2020.00165

[1]	李艳俊, 葛耀东, 王琦, 张伟国, 刘琛. 改进的KLEIN算法及其量子分析[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2810-2817.
[2]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[3]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[4]	肖斌, 甘昀, 汪敏, 张兴鹏, 王照星. 基于端口注意力与通道空间注意力的网络异常流量检测[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1027-1034.
[5]	李雪, 姚光乐, 王洪辉, 李军, 周皓然, 叶绍泽. 基于样本增量学习的遥感影像分类[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 732-736.
[6]	项勇, 李艳俊, 黄丁韫, 陈愚, 谢惠琴. 全轮Shadow算法的差分和线性特征分析[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3839-3843.
[7]	李博, 黄建强, 黄东强, 王晓英. 基于异构平台的稀疏矩阵向量乘自适应计算优化[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3867-3875.
[8]	沈嫣然, 温昕, 张瑾昊, 张帅, 曹锐, 高保禄. 轻量级多尺度卷积网络的功能磁共振成像脑龄预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3949-3957.
[9]	黄雨鑫, 黄贻望, 黄辉. 基于浅层网络预测的元标签校正方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3364-3370.
[10]	陈豪, 夏振平, 程成, 林李兴, 张博文. 基于Transformer-CNN的轻量级图像超分辨率重建网络[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 292-299.
[11]	赵光耀, 沈璇, 余波, 易晨晖, 李祯. 缩减轮的超轻量级分组密码算法PFP的不可能差分分析[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2784-2788.
[12]	赵旭剑, 李杭霖. 基于混合机制的深度神经网络压缩算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2686-2691.
[13]	姜钧舰, 刘达维, 刘逸凡, 任酉贵, 赵志滨. 基于孪生网络的小样本目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2325-2329.
[14]	韩春港, 刘永辉. 基于GhostNet和特征融合的人脸活体检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2588-2592.
[15]	陈侃松, 郑园, 许立君, 王周宇, 张哲, 姚福娟. 基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2572-2580.

基于深度残差网络的轻量级人脸识别方法

Lightweight face recognition method based on deep residual network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 26

相关文章 15

编辑推荐

Metrics