基于深度残差网络的轻量级人脸识别方法

doi:10.11772/j.issn.1001-9081.2021050880

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2030-2036.DOI: 10.11772/j.issn.1001-9081.2021050880

• 人工智能 • 上一篇

基于深度残差网络的轻量级人脸识别方法

贺怀清, 闫建青(), 惠康华

中国民航大学计算机科学与技术学院，天津 300300

收稿日期:2021-05-27 修回日期:2021-09-03 接受日期:2021-09-15 发布日期:2021-09-03 出版日期:2022-07-10
通讯作者: 闫建青
作者简介:贺怀清（1969—），女，吉林白山人，教授，博士，CCF会员，主要研究方向：图形、图像、可视化分析
惠康华（1982—），男，江苏连云港人，副教授，博士，主要研究方向：图像处理。
基金资助:
国家重点研发计划项目(2020YFB1600101);天津市教委科研计划项目(2020KJ024)

Lightweight face recognition method based on deep residual network

Huaiqing HE, Jianqing YAN(), Kanghua HUI

College of Computer Science and Technology，Civil Aviation University of China，Tianjin 300300，China

Received:2021-05-27 Revised:2021-09-03 Accepted:2021-09-15 Online:2021-09-03 Published:2022-07-10
Contact: Jianqing YAN
About author:HE Huaiqing， born in 1969， Ph. D.， professor. Her research interests include graphics， image and visual analysis.
HUI Kanghua， born in 1982， Ph. D.， associate professor. His research interests include image processing.
Supported by:
National Key Research and Development Program of China(2020YFB1600101);Scientific Research Program of Tianjin Municipal Education Commission(2020KJ024)

摘要/Abstract

摘要：

针对深度残差网络在小型移动设备的人脸识别应用中存在的网络结构复杂、时间开销大等问题，提出一种基于深度残差网络的轻量级模型。首先对深度残差网络的结构进行精简优化，并结合知识转移方法，从深度残差网络（教师网络）中重构出轻量级残差网络（学生网络），从而在保证精度的同时，降低网络的结构复杂度；然后在学生网络中通过分解标准卷积减少模型的参数，从而降低特征提取网络的时间复杂度。实验结果表明，在LFW、VGG-Face、AgeDB和CFP-FP等4个不同数据集上，所提模型在识别精度接近主流人脸识别方法的同时，单张推理时间达到16 ms，速度提升了10%~20%。可见，所提模型能够在推理速度得到有效提升的同时识别精度基本不下降。

关键词: 深度残差网络, 人脸识别, 轻量级, 知识蒸馏, 深度可分离卷积

Abstract:

As deep residual network has problems such as complex network structure and high time cost in face recognition applications of small mobile devices， a lightweight model based on deep residual network was proposed. Firstly， by simplifying and optimizing the structure of the deep residual network and combining the knowledge transfer method， a lightweight residual network （student network） was reconstructed from the deep residual network （teacher network）， which reduced the network structural complexity while ensuring accuracy. Then， in the student network， the parameters of the model were reduced by decomposing standard convolution， thereby reducing the time complexity of the feature extraction network. Experimental results show that on four different datasets such as LFW （Labeled Faces in the Wild）， VGG-Face （Visual Geometry Group Face）， AgeDB （Age Database） and CFP-FP （Celebrities in Frontal Profile with Frontal-Profile）， with the recognition accuracy close to the mainstream face recognition methods， the proposed model has the time of reasoning reaches 16 ms every image， and the speed is increased by 10% to 20%. Therefore， the proposed model can have the speed of reasoning effectively improved with the recognition accuracy basically not reduced.

Key words: deep residual network, face recognition, lightweight, Knowledge Distillation (KD), Depthwise Separable Convolution (DSC)

中图分类号:

TP391.41

贺怀清, 闫建青, 惠康华. 基于深度残差网络的轻量级人脸识别方法[J]. 计算机应用, 2022, 42(7): 2030-2036.

Huaiqing HE, Jianqing YAN, Kanghua HUI. Lightweight face recognition method based on deep residual network[J]. Journal of Computer Applications, 2022, 42(7): 2030-2036.

图/表 7

图1 轻量级人脸残差网络模型

Fig. 1 Lightweight face residual network model

表1 轻量级人脸识别残差网络各层结构

Tab. 1 Each layer structure of lightweight face recognition residual network

层类型	输入尺寸	输出尺寸
Conv1	3×112×112	64×112×112
Block1	64×112×112	64×56×56
Block2	64×56×56	128×28×28
Block3	128×28×28	256×14×14
Block4	256×14×14	512×7×7
FC	512×7×7	1×25 088

表2 在不同数据集上师生网络的实验结果

Tab. 2 Experimental results of teacher/student network on different datasets

模型	数据集精度/%		单张识别时间/ms	空间开销/MB
模型	LFW	VGG-Face	单张识别时间/ms	空间开销/MB
ResNet101	99.62	96.35	30	870.22
ResNet50	99.46	95.95	23	369.55
DSLR	98.82	95.83	16	131.13

表3 不同数据集上的多方法实验结果对比

Tab. 3 Experimental results comparison of multiple methods on different datasets

方法	数据集精度/%				单张识别时间/ms
方法	LFW	VGG-Face	AgeDB	CFP-FP	单张识别时间/ms
MobiFace	98.60	95.70	92.32	92.83	15
HRNet	99.40	95.98	93.10	93.65	20
GhostNet	99.17	95.81	91.97	92.67	18
DSLR	98.82	95.83	92.43	93.24	16

图2 DSLR和MobiFace在不同测试集上的结果

Fig. 2 Results of DSLR and MobiFace on different test sets

图3 DSLR在CASIA-WebFace上的训练损失

Fig. 3 Training loss of DSLR on CASIA-WebFace

表4 深度可分离卷积加入DSLR后在不同数据集上的实验结果对比

Tab. 4 Experimental results comparison of adding depthwise separable convolution to DSLR on different datasets

方法	数据集精度/%		单张识别时间/ms
方法	LFW	VGG-Face	单张识别时间/ms
IR	98.85	95.91	18
IR+DSC	98.79	95.74	16
IR+DSC+SE	98.82	95.83	16

参考文献 26

1	李东博，黄铝文. 重加权稀疏主成分分析算法及其在人脸识别中的应用［J］. 计算机应用， 2020， 40（3）：717-722.
	LI D B， HUANG L W. Reweighted sparse principal component analysis algorithm and its application in face recognition［J］. Journal of Computer Applications， 2020， 40（3）： 717-722.
2	徐竟泽，吴作宏，徐岩，等. 融合PCA、LDA和SVM算法的人脸识别［J］. 计算机工程与应用， 2019， 55（18）：34-37.
	XU J Z， WU Z H， XU Y， et al. Face recognition based on PCA， LDA and SVM algorithms［J］. Computer Engineering and Applications， 2019， 55（18）： 34-37.
3	丁莲静，刘光帅，李旭瑞，等. 加权信息熵与增强局部二值模式结合的人脸识别［J］. 计算机应用， 2019， 39（8）：2210-2216. 10.11772/j.issn.1001-9081.2019010181
	DING L J， LIU G S， LI X R， et al. Face recognition combining weighted information entropy with enhanced local binary pattern［J］. Journal of Computer Applications， 2019， 39（8）： 2210-2216. 10.11772/j.issn.1001-9081.2019010181
4	SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 815-823. 10.1109/cvpr.2015.7298682
5	PARKHI O M， VEDALDI A， ZISSERMAN A. Deep face recognition［C］// Proceedings of the 2015 British Machine Vision Conference. Durham： BMVA Press， 2015： No.41. 10.5244/c.29.41
6	HU J， SHEN L， SUN G， Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
7	LIU W Y， WEN Y D， YU Z D， et al. SphereFace： deep hypersphere embedding for face recognition［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6738-6746. 10.1109/cvpr.2017.713
8	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
9	WANG H， WANG Y T， ZHOU Z， et al. CosFace： large margin cosine loss for deep face recognition［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 5265-5274. 10.1109/cvpr.2018.00552
10	DENG J K， GUO J， XUE N N， et al. ArcFace： additive angular margin loss for deep face recognition［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4685-4694. 10.1109/cvpr.2019.00482
11	HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）［2021-03-12］..
12	ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6848-6856. 10.1109/cvpr.2018.00716
13	WANG M J， LIU R J， ABE N， et al. Discover the effective strategy for face recognition model compression by improved knowledge distillation［C］// Proceedings of the 25th IEEE International Conference on Image Processing. Piscataway： IEEE， 2018： 2416-2420. 10.1109/icip.2018.8451808
14	YAN M J， ZHAO M G， XU Z N， et al. VarGFaceNet： an efficient variable group convolutional neural network for lightweight face recognition［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision Workshop. Piscataway： IEEE， 2019： 2647-2654. 10.1109/iccvw.2019.00323
15	GE S M， ZHAO S W， LI C Y， et al. Low-resolution face recognition in the wild via selective knowledge distillation［J］. IEEE Transactions on Image Processing， 2019， 28（4）： 2051-2062. 10.1109/tip.2018.2883743
16	HINTON G， VINYALS O， DEAN J. Distilling the knowledge in a neural network［EB/OL］. （2015-03-09）［2021-03-12］..
17	HAN S， POOL J， TRAN J， et al. Learning both weights and connections for efficient neural networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 1135-1143.
18	WU J X， LENG C， WANG Y H， et al. Quantized convolutional neural networks for mobile devices［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016：4820-4828. 10.1109/cvpr.2016.521
19	YI D， LEI Z， LIAO S C， et al. Learning face representation from scratch［EB/OL］. （2014-11-28）［2021-03-12］..
20	HUANG G B， RAMESH M， BERG T， et al. Labeled faces in the wild： a database for studying face recognition in unconstrained environments［EB/OL］. ［2021-03-12］..
21	MOSCHOGLOU S， PAPAIOANNOU A， SAGONAS C， et al. AgeDB： the first manually collected， in-the-wild age database［C］// Proceeding of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1997-2005. 10.1109/cvprw.2017.250
22	SENGUPTA S， CHEN J C， CASTILLO C， et al. Frontal to profile face verification in the wild［C］// Proceeding of the 2016 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2016： 1-9. 10.1109/wacv.2016.7477558
23	ZHOU E J， CAO Z M， SUN J. GridFace： face rectification via learning local homography transformations［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11220. Cham： Springer， 2018： 3-20.
24	DUONG C N， QUACH K G， JALATA I， et al. MobiFace： a lightweight deep learning face recognition on mobile devices［C］// Proceedings of the IEEE 10th International Conference on Biometrics Theory， Applications and Systems. Piscataway： IEEE， 2019： 1-6. 10.1109/btas46853.2019.9185981
25	SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5686-5696. 10.1109/cvpr.2019.00584
26	HAN K， WANG Y H， TIAN Q， et al. GhostNet： more features from cheap operations［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1577-1586. 10.1109/cvpr42600.2020.00165

[1]	王娟, 袁旭亮, 武明虎, 郭力权, 刘子杉. 基于压缩提炼网络的实时语义分割方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 1993-2000.
[2]	任炜, 白鹤翔. 基于全局与局部标签关系的多标签图像分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1383-1390.
[3]	顾军华, 樊帅, 李宁宁, 张素琪. 基于知识图偏好注意力网络的长短期推荐模型及其更新方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1079-1086.
[4]	赖涵光, 李清, 江勇. 基于场景变化的传输控制协议拥塞控制切换方案[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1225-1234.
[5]	张成, 万源, 强浩鹏. 基于知识蒸馏的深度无监督离散跨模态哈希[J]. 计算机应用, 2021, 41(9): 2523-2531.
[6]	高工, 杨红雨, 刘洪. 基于深度学习的三维点云人脸识别[J]. 计算机应用, 2021, 41(9): 2736-2740.
[7]	黄继爽, 张华, 李永龙, 赵皓, 王皓冉, 冯春成. 基于动态特征蒸馏的水工隧洞缺陷识别方法[J]. 计算机应用, 2021, 41(8): 2358-2365.
[8]	贾鹤鸣, 郎春博, 姜子超. 基于轻量级卷积神经网络的植物叶片病害识别方法[J]. 计算机应用, 2021, 41(6): 1812-1819.
[9]	史杨潇, 章军, 陈鹏, 王兵. 基于轻量级网络的钢铁表面缺陷分类[J]. 计算机应用, 2021, 41(6): 1836-1841.
[10]	吴恺凡, 殷新春. 基于随机运算符的轻量级匿名射频识别系统双向认证协议[J]. 计算机应用, 2021, 41(6): 1621-1630.
[11]	胡嵽, 冯子亮. 基于深度学习的轻量级道路图像语义分割算法[J]. 计算机应用, 2021, 41(5): 1326-1331.
[12]	陆鑫伟, 余鹏飞, 李海燕, 李红松, 丁文谦. 基于注意力自身线性融合的弱监督细粒度图像分类算法[J]. 计算机应用, 2021, 41(5): 1319-1325.
[13]	曹建芳, 田晓东, 贾一鸣, 闫敏敏. 改进DeepLabV3+模型在壁画分割中的应用[J]. 计算机应用, 2021, 41(5): 1471-1476.
[14]	王永金, 左羽, 吴恋, 崔忠伟, 赵晨洁. 基于注意力机制的图像超分辨率重建[J]. 计算机应用, 2021, 41(3): 845-850.
[15]	任奕茗, 王让定, 严迪群, 林昱臻. 基于深度残差网络的语音隐写分析方法[J]. 计算机应用, 2021, 41(3): 774-779.

基于深度残差网络的轻量级人脸识别方法

Lightweight face recognition method based on deep residual network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 26

相关文章 15

编辑推荐

Metrics