基于GhostNet和特征融合的人脸活体检测算法

doi:10.11772/j.issn.1001-9081.2022071100

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (8): 2588-2592.DOI: 10.11772/j.issn.1001-9081.2022071100

• 多媒体计算与计算机仿真 • 上一篇

基于GhostNet和特征融合的人脸活体检测算法

韩春港¹^,², 刘永辉²()

^1.山东建筑大学计算机科学与技术学院，济南 250101
^2.浪潮智能终端有限公司解决方案开发部，济南 250101

收稿日期:2022-07-28 修回日期:2022-11-07 接受日期:2022-11-21 发布日期:2023-01-15 出版日期:2023-08-10
通讯作者: 韩春港
作者简介:刘永辉（1975—），男，山东济南人，高级工程师，硕士，主要研究方向：音视频处理、机器视觉、大数据分析。

Face liveness detection algorithm based on GhostNet and feature fusion

Chungang HAN¹^,², Yonghui LIU²()

^1.School of Computer Science and Technology，Shandong Jianzhu University，Jinan Shandong 250101，China
^2.Solution Development Department，Inspur Intelligent Terminal Company Limited，Jinan Shandong 250101，China

Received:2022-07-28 Revised:2022-11-07 Accepted:2022-11-21 Online:2023-01-15 Published:2023-08-10
Contact: Chungang HAN
About author:LIU Yonghui， born in 1975， M. S.， senior engineer. His research interests include audio and video processing， machine vision， big data analysis. 837164564@qq.com

摘要/Abstract

摘要：

人脸识别技术的广泛应用在为用户带来方便的同时，也带来了人脸欺骗和展示攻击等问题。针对经常出现的展示攻击和打印攻击问题，提出了一种基于GhostNet和特征融合的人脸活体检测算法。首先，将GhostNet模型的特征提取过程分为三种不同的阶段，即低等特征、中等特征和高等特征；然后，分别输出每个阶段的特征图信息；最后，将具有不同语义信息的特征图送入特征融合模块进行自适应加权融合，以获得更加具有辨别性的特征映射。在NUAA和CelebA-Spoof两个公开数据集上进行实验，实验结果表明所提算法的准确率分别为99.97%和93.41%，相较于GhostNet模型直接进行训练的算法分别提高了8.00和9.20个百分点。与异构内核的卷积神经网络（HK-CNN）、轻量级卷积神经网络FeatherNet、基于分块的多流网络FaceBagNet等算法相比，所提算法在NUAA和CelebA-Spoof数据集上表现出更好的性能；并且，由于GhostNet是一种轻量化的网络模型，所提算法在CelebA-Spoof数据集上对单张图像进行推理的时间仅需3.6 ms。

关键词: 人脸识别, 活体检测, GhostNet, 自适应加权融合, CelebA-Spoof数据集

Abstract:

The wide application of face recognition technology not only brings convenience to users， but also brings problems such as face spoofing and presentation attacks. Aiming at the frequent presentation attacks and print attacks， a face liveness detection algorithm based on GhostNet and feature fusion was proposed. Firstly， the feature extraction process of GhostNet model was divided into three different stages， namely， low-level feature， medium-level feature and high-level feature. Then， the feature map information of each stage was output respectively. Finally， the feature maps with different semantic information were sent into the feature fusion module for adaptive weighted fusion， so as to obtain more discriminative feature mapping. Experiments were conducted on public datasets NUAA and CelebA-Spoof. The results show that the accuracy of the proposed algorithm is 99.97% and 93.41% respectively， which is increased by 8.00 and 9.20 percentage points respectively compared with the algorithm of direct training of GhostNet model. Compared with Heterogeneous Kernel-Convolutional Neural Network （HK-CNN）， lightweight convolutional neural network FeatherNet， block based multi-stream network FaceBageNet and other algorithms， the proposed algorithm shows better performance on NUAA and CelebA-Spoof datasets. And， as GhostNet is a lightweight network model， the proposed algorithm only takes 3.6 ms on single image inference on CelebA-Spoof dataset.

Key words: face recognition, live detection, GhostNet, adaptive weighted fusion, CelebA-Spoof dataset

中图分类号:

TP183

韩春港, 刘永辉. 基于GhostNet和特征融合的人脸活体检测算法[J]. 计算机应用, 2023, 43(8): 2588-2592.

Chungang HAN, Yonghui LIU. Face liveness detection algorithm based on GhostNet and feature fusion[J]. Journal of Computer Applications, 2023, 43(8): 2588-2592.

图/表 11

图1 用于输出和普通卷积层相同数量特征图的GhostNet网络结构块

Fig. 1 GhostNet network block used to output feature maps with the same number as normal convolutional layers

图2 GhostNet中使用的结构

Fig. 2 Structures used in GhostNet

图3 GhostNet网络结构

Fig. 3 Structure of GhostNet network

图4 GhostNet-AFF网络结构

Fig. 4 Structure of GhostNet-AFF network

图5 数据增强可视化

Fig. 5 Visualization of data augmentation

图6 GhostNet-AFF在NUAA数据集上的准确率

Fig. 6 Accuracy of GhostNet-AFF on NUAA dataset

图7 GhostNet-AFF在CelebA-Spoof数据集上的准确率

Fig. 7 Accuracy of GhostNet-AFF on CelebA-Spoof dataset

表1 两种模型的测试结果对比 (%)

Tab. 1 Comparison of test results of two models

模型	数据集	TPR（FPR=0.005）	Recall
GhostNet	NUAA	92.60	95.46
GhostNet-AFF	NUAA	99.73	99.93
GhostNet	CelebA-Spoof	85.20	90.50
GhostNet-AFF	CelebA-Spoof	92.14	93.44

表2 不同算法在NUAA数据集上准确率对比 (%)

Tab. 2 Accuracy comparison of different algorithms on NUAA dataset

算法	准确率	算法	准确率
ND-CNN^［14］	99.00	HK-CNN^［18］	99.82
DK^［15］	99.30	LBP+模糊特征+色彩纹理特征^［19］	99.27
ELM-LRF^［16］	99.67	GhostNet^［10］	91.97
ResNet50+depth+SE^［17］	95.91	本文算法	99.97

表3 不同算法在CelebA Spoof数据集上的准确率对比 (%)

Tab. 3 Accuracy comparison of different algorithms on CelebA-Spoof dataset

算法	准确率	算法	准确率
FeatherNet^［20］	89.08	GhostNet^［10］	84.21
FaceBagNet^［21］	91.25	本文算法	93.41

图8 真实和伪造人脸的识别结果

Fig. 8 Recognition results of real and fake faces

参考文献 21

1	YU B Y， LU J W， LI X， et al. Salience-aware face presentation attack detection via deep reinforcement learning［J］. IEEE Transactions on Information Forensics and Security， 2022， 17： 413-427. 10.1109/tifs.2021.3135748
2	LI J W， WANG Y H， TAN T N， et al. Live face detection based on the analysis of Fourier spectra［C］// Proceedings of the SPIE 5404， Biometric Technology for Human Identification 2004. Bellingham， WA： SPIE， 2004： No.541955. 10.1117/12.541955
3	BOULKENAFET Z， KOMULAINEN J， HADID A. Face spoofing detection using colour texture analysis［J］. IEEE Transactions on Information Forensics and Security， 2016， 11（8）： 1818-1830. 10.1109/tifs.2016.2555286
4	BOULKENAFET Z， KOMULAINEN J， FENG X Y， et al. Scale space texture analysis for face anti-spoofing［C］// Proceedings of the 2016 International Conference on Biometrics. Piscataway： IEEE， 2016： 1-6. 10.1109/icb.2016.7550078
5	RAGHAVENDRA R J， SANJEEV KUNTE R. Extended local ternary co-relation pattern： a novel feature descriptor for face anti-spoofing［J］. Journal of Information Security and Applications， 2020， 52： No.102482. 10.1016/j.jisa.2020.102482
6	YANG X， LUO W H， BAO L C， et al. Face anti-spoofing： model matters， so does data［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3502-3511. 10.1109/cvpr.2019.00362
7	SUN W Y， SONG Y， CHEN C S， et al. Face spoofing detection based on local ternary label supervision in fully convolutional networks［J］. IEEE Transactions on Information Forensics and Security， 2020， 15： 3181-3196. 10.1109/tifs.2020.2985530
8	DEB D， JAIN A K. Look locally infer globally： a generalizable face anti-spoofing approach［J］. IEEE Transactions on Information Forensics and Security， 2021， 16： 1143-1157. 10.1109/tifs.2020.3029879
9	杨瑞杰，郑贵林. 基于InceptionV3和特征融合的人脸活体检测［J］. 计算机应用， 2022，42（7）：2037-2042.
	YANG R J， ZHENG G L. Face liveness detection based on InceptionV3 and feature fusion［J］. Journal of Computer Applications， 2022， 42（7）：2037-2042.
10	HAN K， WANG Y H， TIAN Q， et al. GhostNet： more features from cheap operations［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1577-1586. 10.1109/cvpr42600.2020.00165
11	ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8689. Cham： Springer， 2014： 818-833.
12	TAN X Y， LI Y， LIU J， et al. Face liveness detection from a single image with sparse low rank bilinear discriminative model［C］// Proceedings of the 2010 European Conference on Computer Vision， LNCS 6316. Berlin： Springer， 2010： 504-517.
13	ZHANG Y H， YIN Z F， LI Y D， et al. CelebA-Spoof： large-scale face anti-spoofing dataset with rich annotations［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12357. Cham： Springer， 2020： 70-85.
14	ALOTAIBI A， MAHMOOD A. Deep face liveness detection based on nonlinear diffusion using convolution neural network［J］. Signal， Image and Video Processing， 2017， 11（4）： 713-720. 10.1007/s11760-016-1014-2
15	YU C Y， JIA Y D. Anisotropic diffusion-based kernel matrix model for face liveness detection［EB/OL］. （2017-07-10）［2022-05-22］.. 10.1016/j.imavis.2019.06.009
16	蔡祥云. 人脸识别中的活体检测及应用研究［D］. 兰州：兰州交通大学， 2020：34-48.
	CAI X Y. Research on spoofing detection and application in face recognition［D］. Lanzhou： Lanzhou Jiaotong University， 2020：34-48.
17	陈路燕. 人脸识别中的活体检测算法研究［D］. 北京：北京邮电大学， 2020：23-38.
	CHEN L Y. Research on face anti-spoofing algorithm in face recognition［D］. Beijing： Beijing University of Posts and Telecommunications， 2020：23-38.
18	卢鑫. 基于改进卷积神经网络的人脸活体检测研究［D］. 鞍山：辽宁科技大学， 2020：39-48. 10.1109/iwecai50956.2020.00028
	LU X. Research of face liveness detection based on improved convolutional neural network［D］. Anshan： University of Science and Technology Liaoning， 2020：39-48. 10.1109/iwecai50956.2020.00028
19	李新豆，高陈强，周风顺，等. 基于图像扩散速度模型和纹理信息的人脸活体检测［J］. 计算机科学， 2020， 47（2）：112-117. 10.11896/jsjkx.181202339
	LI X D， GAO C Q， ZHOU F S， et al. Face liveness detection based on image diffusion speed model and texture information［J］. Computer Science， 2020， 47（2）：112-117. 10.11896/jsjkx.181202339
20	ZHANG P， ZOU F H， WU Z W， et al. FeatherNets： convolutional neural networks as light as feather for face anti-spoofing［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vison and Pattern Recognition Workshops. Piscataway： IEEE， 2019：1574-1583. 10.1109/cvprw.2019.00199
21	SHEN T， HUANG Y Y， TONG Z J. FaceBagNet： bag-of-local-features model for multi-modal face anti-spoofing［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vison and Pattern Recognition Workshops. Piscataway： IEEE， 2019：1611-1616. 10.1109/cvprw.2019.00203

[1]	陈侃松, 郑园, 许立君, 王周宇, 张哲, 姚福娟. 基于ThetaMEX全局池化的人脸识别神经网络——ShuffaceNet[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2572-2580.
[2]	郝巨鸣, 杨景玉, 韩淑梅, 王阳萍. 引入Ghost模块和ECA的YOLOv4公路路面裂缝检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1284-1290.
[3]	贺怀清, 闫建青, 惠康华. 基于深度残差网络的轻量级人脸识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2030-2036.
[4]	杨瑞杰, 郑贵林. 基于InceptionV3和特征融合的人脸活体检测[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2037-2042.
[5]	高工, 杨红雨, 刘洪. 基于深度学习的三维点云人脸识别[J]. 计算机应用, 2021, 41(9): 2736-2740.
[6]	李虹霞, 秦品乐, 闫寒梅, 曾建潮, 鲍骞月, 柴锐. 基于面部特征图对称的人脸正面化生成对抗网络算法[J]. 计算机应用, 2021, 41(3): 714-720.
[7]	杜汉, 龙显忠, 李云. 基于图学习正则判别非负矩阵分解的人脸识别[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3455-3461.
[8]	方书雅, 刘守印. 基于学生人体检测的无感知课堂考勤方法[J]. 计算机应用, 2020, 40(9): 2519-2524.
[9]	赵青, 余元辉. 基于分层特征化网络的三维人脸识别[J]. 计算机应用, 2020, 40(9): 2514-2518.
[10]	黄俊, 张娜娜, 章惠. 融合头部姿态和面部表情的互动式活体检测[J]. 计算机应用, 2020, 40(7): 2089-2095.
[11]	邓雄, 王洪春. 基于深度学习和特征融合的人脸活体检测算法[J]. 计算机应用, 2020, 40(4): 1009-1015.
[12]	李东博, 黄铝文. 重加权稀疏主成分分析算法及其在人脸识别中的应用[J]. 计算机应用, 2020, 40(3): 717-722.
[13]	龚锐, 丁胜, 章超华, 苏浩. 基于深度学习的轻量级和多姿态人脸识别方法[J]. 计算机应用, 2020, 40(3): 704-709.
[14]	陈放, 刘晓瑞, 杨明业. 基于活体检测和身份认证的人脸识别安防系统[J]. 计算机应用, 2020, 40(12): 3666-3672.
[15]	皮家甜, 杨杰之, 杨琳希, 彭明杰, 邓雄, 赵立军, 唐万梅, 吴至友. 基于多模态特征融合的轻量级人脸活体检测方法[J]. 计算机应用, 2020, 40(12): 3658-3665.

基于GhostNet和特征融合的人脸活体检测算法

Face liveness detection algorithm based on GhostNet and feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 21

相关文章 15

编辑推荐

Metrics