基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet

doi:10.11772/j.issn.1001-9081.2022070985

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (8): 2572-2580.DOI: 10.11772/j.issn.1001-9081.2022070985

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet

陈侃松, 郑园, 许立君(), 王周宇, 张哲, 姚福娟

湖北大学计算机与信息工程学院，武汉 430062

收稿日期:2022-07-08 修回日期:2022-11-16 接受日期:2022-11-21 发布日期:2023-01-15 出版日期:2023-08-10
通讯作者: 许立君
作者简介:陈侃松（1972—），男，湖北沙市人，教授，博士生导师，博士，主要研究方向：人工智能、数字孪生、工业互联网
郑园（2000—），女，湖南衡阳人，硕士研究生，主要研究方向：目标检测、深度学习
王周宇（1996—），男，湖北武汉人，硕士，主要研究方向：目标检测、人工智能
张哲（1996—），男，湖北荆州人，硕士研究生，主要研究方向：机器学习、深度学习
姚福娟（1999—），女，山东临沂人，硕士研究生，主要研究方向：数字孪生、深度学习。
基金资助:
湖北省科技重大专项(202011901203001);湖北省重点研发计划项目(2021BAA184);武汉市知识创新专项-曙光计划项目(2022010801020327)

ShuffaceNet： face recognition neural network based on ThetaMEX global pooling

Kansong CHEN, Yuan ZHENG, Lijun XU(), Zhouyu WANG, Zhe ZHANG, Fujuan YAO

School of Computer Science and Information Engineering，Hubei University，Wuhan Hubei 430062，China

Received:2022-07-08 Revised:2022-11-16 Accepted:2022-11-21 Online:2023-01-15 Published:2023-08-10
Contact: Lijun XU
About author:CHEN Kansong， born in 1972， Ph. D.， professor. His research interests include artificial intelligence， digital twin， industrial internet.
ZHENG Yuan， born in 2000， M. S. candidate. Her research interests include object detection， deep learning.
WANG Zhouyu， born in 1996， M. S. His research interests include object detection， artificial intelligence.
ZHANG Zhe， born in 1996， M. S. candidate. His research interests include machine learning， deep learning.
YAO Fujuan， born in 1999， M. S. candidate. Her research interests include digital twin， deep learning.
Supported by:
High Technology Key Program of Hubei Province(202011901203001);Key Research and Development Program of Hubei Province(2021BAA184);Knowledge Innovation Program of Wuhan-Shuguang Project(2022010801020327)

摘要/Abstract

摘要：

针对目前大规模网络不适合在手机、平板电脑等资源匮乏的移动设备上使用，以及池化层会导致特征图的稀疏性最终影响神经网络识别精度的问题，提出了一个轻量级人脸识别神经网络ShuffaceNet，设计了一个非线性平滑Log-Mean-Exp函数ThetaMEX，并提出了一种端到端可训练的ThetaMEX全局池化层（TGPL），从而在保证算法精度的前提下，减少网络参数、提高运算速度，进而达到有效地将该网络部署在资源匮乏的移动设备上的目的。ShuffaceNet约有3 600个参数，模型大小仅为3.5 MB。在LFW（Labled Faces in the Wild）、AgeDB-30 （Age Database-30）、CFP （Celebrities in Frontal Profile）人脸数据集上的识别测试的结果表明，ShuffaceNet的精度分别达到了99.32%、93.17%、94.51%。与MobileNetV1、SqueezeNet、Xception相比，所提网络的大小分别缩减了73.1%、82.1%、78.5%，在AgeDB-30数据集上的精度分别提高了5.0%、6.3%、6.7%。可见，基于ThetaMEX全局池化的所提网络能够提高模型精度。

关键词: 人脸识别, 智能全局池化, ThetaMEX, 神经网络, 轻量级模型

Abstract:

Focused on the issue that the current large-scale networks are not suitable to be applied on resource-starved mobile devices like smart phones and tablet computers， and the pooling layer will lead to the sparsity of feature map， which ultimately affect the recognition accuracy of the neural network， a lightweight face recognition neural network namely ShuffaceNet was proposed， a smooth nonlinear Log-Mean-Exp function ThetaMEX was designed， and an end-to-end trainable ThetaMEX Global Pool Layer （TGPL） was proposed， so as to reduce network parameters and improve computing speed while ensuring the accuracy of the algorithm， achieving the purpose that the network can be effectively deployed on mobile devices with limited resources. ShuffaceNet has about 3 600 parameters， and the model size is only 3.5 MB. The recognition test results on LFW （Labled Faces in the Wild）， AgeDB-30 （Age Database-30） and CFP （Celebrities in Frontal Profile） face datasets show that the accuracy of ShuffaceNet reaches 99.32%， 93.17%， 94.51% respectively. Compared with the traditional networks such as MobileNetV1， SqueezeNet and Xception， the proposed network has the size reduced by 73.1%， 82.1% and 78.5% respectively， and the accuracy on AgeDB-30 dataset improved by 5.0%， 6.3% and 6.7% respectively. It can be seen that the proposed network based on ThetaMEX global pooling can improve the model accuracy.

Key words: face recognition, smart global pooling, ThetaMEX, neural network, lightweight model

中图分类号:

TP183

陈侃松, 郑园, 许立君, 王周宇, 张哲, 姚福娟. 基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet[J]. 计算机应用, 2023, 43(8): 2572-2580.

Kansong CHEN, Yuan ZHENG, Lijun XU, Zhouyu WANG, Zhe ZHANG, Fujuan YAO. ShuffaceNet： face recognition neural network based on ThetaMEX global pooling[J]. Journal of Computer Applications, 2023, 43(8): 2572-2580.

图/表 15

图1 AlphaMEX函数对参数α导数后的函数图像

Fig. 1 Function image of derivative of AlphaMEX respect to α

图2 ThetaMEX偏导函数

Fig. 2 ThetaMEX partial derivative function

图3 ThetaMEX池化层的输入与输出情况

Fig. 3 Input and output of ThetaMEX pooling layer

图4 ShuffaceNet插入块示意图

Fig. 4 Insert block structure of ShuffaceNet

表1 ShuffaceNet网络结构

Tab. 1 ShuffaceNet network structure

输入	操作	通道数	步长	重复次数
112×112×3	Depthwise Conv3×3	32	1
56×56×32	Max Pool		1	1
28×28×32	Shufface Stage1	64	2	1
28×28×32	Shufface Stage1	64	1	2
14×14×144	Shufface Stage2	240	2	1
14×14×144	Shufface Stage2	240	1	4
7×7×288	Shufface Stage3	480	2	1
7×7×288	Shufface Stage3	480	1	4
5×5×960	Shufface Stage4（5×5）	960	2	1
5×5×960	Shufface Stage4（5×5）	960	1	2
1×1×960	ThetaMEX Pool
1×1×960	Fully Connect	1 000

图5 ShuffaceNet中TGPL的网络构造

Fig. 5 Network structure of TGPL in ShuffaceNet

表2 不同数据集上不同网络结构的比较

Tab. 2 Comparison of different network structures on different datasets

网络	精度/%				耗时/ms	参数量/10⁶
网络	LFW	AgeDB-30	cfp_fp	cfp_ff	耗时/ms	参数量/10⁶
MobileNetV1	98.65	88.75	89.18	92.97	60	3.20
MobileNetV2	98.79	88.84	89.48	93.17	50	2.10
ShuffleNetV1	98.73	89.28	89.31	96.20	28	0.83
SqueezeNet	98.53	87.61	87.78	94.67	30	4.80
Xception	98.47	87.32	88.91	91.24	54	4.00
MobileFaceNet	98.33	87.83	82.71	98.05	25	0.99
LightCNN-9	98.81	89.87	89.63	96.30	35	5.56
ShuffaceNet	99.32	93.17	94.51	98.58	22	0.86

图6 MobileFaceNet示意图

Fig. 6 Schematic diagram of MobileFaceNet

图7 TGPL网络结构

Fig. 7 TGPL network structure

表3 不同模型的精度与参数比较

Tab. 3 Comparison of accuracy and parameters of different models

网络	精度/%				耗时 /ms	参数量/10⁶
网络	LFW	AgeDB-30	cfp_fp	cfp_ff	耗时 /ms	参数量/10⁶
MobileFaceNet	98.33	87.83	82.71	98.05	28	0.99
Theta⁃MobileFaceNet	98.51	88.21	83.53	98.40	28	1.00
ShuffleNetV1	98.73	89.28	83.53	98.40	25	0.83
Theta⁃Shufflefacenet	97.79	88.01	83.10	98.24	25	1.00
ShuffaceNet	99.32	93.17	94.51	98.58	23	0.86
Theta⁃ShuffaceNet	98.96	94.52	95.31	99.10	22	0.86

图8 参数θ的独立训练过程

Fig. 8 Independent training process of parameter θ

图9 ThetaMEX非线性梯度特性

Fig. 9 Nonlinear gradient characteristics of ThetaMEX

图10 AlphaMEX和ThetaMEX池化层训练参数的比较

Fig. 10 Comparison of training parameters of AlphaMEX and ThetaMEX pooling layers

图11 稀疏度与测试误差率的关系

Fig. 11 Relationship between sparsity and test error rate

图12 人脸图像不同区域的池化方式

Fig. 12 Pooling methods for different areas of face image

参考文献 20

1	武文娟，李勇. Emfacenet：一种轻量级人脸识别的卷积神经网络［J］. 小型微型计算机系统， 2023， 44（3）： 560-564.
	WU W J， LI Y. Emfacenet： a lightweight convolutional neural network for face recognition［J］. Journal of Chinese Computer Systems， 2023， 44（3）： 560-564.
2	LI X L， DING L K， WANG L， et al. FPGA accelerates deep residual learning for image recognition［C］// Proceedings of the IEEE 2nd Information Technology， Networking， Electronic and Automation Control Conference. Piscataway： IEEE， 2017： 837-840. 10.1109/itnec.2017.8284852
3	ZHOU E J， CAO Z M， YIN Q. Naive-deep face recognition： touching the limit of LFW benchmark or not？［EB/OL］. （2015-01-20）［2022-10-26］..
4	WEN Y D， ZHANG K P， LI Z F， et al. A discriminative feature learning approach for deep face recognition［C］// Proceedings of 2016 European Conference on Computer Vision， LNCS 9911. Cham： Springer， 2016： 499-515.
5	LIU W Y， WEN Y D， YU Z D， et al. SphereFace： deep hypersphere embedding for face recognition［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6738-6746. 10.1109/cvpr.2017.713
6	DENG J K， GUO J， XUE N N， et al. ArcFace： additive angular margin loss for deep face recognition［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4685-4694. 10.1109/cvpr.2019.00482
7	XIAO B， LI X Y， LI C G， et al. A novel pooling block for improving lightweight deep neural networks［J］. Pattern Recognition Letters， 2020， 135： 307-312. 10.1016/j.patrec.2020.05.012
8	SANDLER M， HOWARD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4510-4520. 10.1109/cvpr.2018.00474
9	ZHANG X Y， ZHOU X Y， LIN M X， et al. ShuffleNet： an extremely efficient convolutional neural network for mobile devices［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6848-6856. 10.1109/cvpr.2018.00716
10	CHOLLET F. Xception： deep learning with depthwise separable convolutions［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807. 10.1109/cvpr.2017.195
11	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
12	IANDOLA F N， HAN S， MOSKEWICZ M W， et al. SqueezeNet： AlexNet-level accuracy with 50x fewer parameters and <0.5 MB model size［EB/OL］. （2016-11-04）［2022-10-26］..
13	赵锋，张鹏，张冉. 基于Ghostnet轻量级人脸识别算法研究［J］. 电子测量技术， 2022， 45（16）：130-136.
	ZHAO F， ZHANG P， ZHANG R. Research on Ghostnet-based lightweight face recognition algorithm［J］. Electronic Measurement Technology， 2022， 45（16）： 130-136.
14	KATZ G， BARRETT C， DILL D L， et al. Reluplex： an efficient SMT solver for verifying deep neural networks［C］// Proceedings of the 2017 International Conference on Computer Aided Verification， LNCS 10426. Cham： Springer， 2017： 97-117.
15	COHEN N， SHARIR O， SHASHUA A. Deep SimNets［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 4782-4791. 10.1109/cvpr.2016.517
16	ZHANG B X， ZHAO Q， FENG W Q， et al. AlphaMEX： a smarter global pooling method for convolutional neural networks［J］. Neurocomputing， 2018， 321： 36-48. 10.1016/j.neucom.2018.07.079
17	CHEN S， LIU Y， GAO X， et al. MobileFaceNets： efficient CNNs for accurate real-time face verification on mobile devices［C］// Proceedings of the 2018 Chinese Conference on Biometric Recognition， LNCS 10996. Cham： Springer， 2018： 428-438.
18	LUO W J， LI Y J， URTASUN R， et al. Understanding the effective receptive field in deep convolutional neural networks［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2016： 4905-4913.
19	CAO Q， SHEN L， XIE W D， et al. VGGFace2： a dataset for recognising faces across pose and age［C］// Proceedings of the 13th IEEE International Conference on Automatic Face and Gesture Recognition. Piscataway： IEEE， 2018：67-74. 10.1109/fg.2018.00020
20	MOSCHOGLOU S， PAPAIOANNOU A， SAGONAS C， et al. AgeDB： the first manually collected， in-the-wild age database［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1997-2005. 10.1109/cvprw.2017.250

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	方介泼, 陶重犇. 应对零日攻击的混合车联网入侵检测系统[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2763-2769.
[3]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[4]	杨兴耀, 陈羽, 于炯, 张祖莲, 陈嘉颖, 王东晓. 结合自我特征和对比学习的推荐模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2704-2710.
[5]	姚光磊, 熊菊霞, 杨国武. 基于神经网络优化的花朵授粉算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2829-2837.
[6]	黄颖, 杨佳宇, 金家昊, 万邦睿. 用于RGBT跟踪的孪生混合信息融合算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2878-2885.
[7]	杜郁, 朱焱. 构建预训练动态图神经网络预测学术合作行为消失[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2726-2731.
[8]	王娜, 蒋林, 李远成, 朱筠. 基于图形重写和融合探索的张量虚拟机算符融合优化[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2802-2809.
[9]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[10]	唐廷杰, 黄佳进, 秦进. 基于图辅助学习的会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2711-2718.
[11]	张睿, 张鹏云, 高美蓉. 自优化双模态多通路非深度前庭神经鞘瘤识别模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2975-2982.
[12]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[13]	陈彤, 杨丰玉, 熊宇, 严荭, 邱福星. 基于多尺度频率通道注意力融合的声纹库构建方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2407-2413.
[14]	石锐, 李勇, 朱延晗. 基于特征梯度均值化的调制信号对抗样本攻击算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2521-2527.
[15]	杨帆, 邹窈, 朱明志, 马振伟, 程大伟, 蒋昌俊. 基于图注意力Transformer神经网络的信用卡欺诈检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2634-2642.

基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet

ShuffaceNet： face recognition neural network based on ThetaMEX global pooling

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 20

相关文章 15

编辑推荐

Metrics