基于InceptionV3和特征融合的人脸活体检测

doi:10.11772/j.issn.1001-9081.2021050814

摘要/Abstract

摘要：

针对身份验证中经常出现的照片欺诈问题，提出了一种基于InceptionV3和特征融合的人脸活体检测模型——InceptionV3_FF。首先，在ImageNet数据集上预训练InceptionV3模型；其次，从InceptionV3模型的不同层得到图像的浅层、中层和深层特征；然后，将不同的特征进行融合得到最终的特征；最后，使用全连接层对特征进行分类，从而实现端到端的训练。InceptionV3_FF模型在NUAA数据集和自制的STAR数据集上进行仿真实验，实验结果表明，InceptionV3_FF模型在NUAA数据集和STAR数据集上分别取得了99.96%和98.85%的准确率，高于InceptionV3迁移学习和迁移微调模型；而与非线性扩散卷积神经网络（ND-CNN）、扩散核（DK）、异构内核卷积神经网络（HK-CNN）等模型相比，InceptionV3_FF模型在NUAA数据集上的准确率更高，具备一定的优越性。InceptionV3_FF模型对数据集中随机抽取的单张图片进行识别时，仅需4 ms。InceptionV3_FF模型和OpenCV结合构成的活体检测系统可以对真假人脸进行识别。

关键词: 活体检测, 特征融合, 人脸识别, ImageNet数据集, NUAA数据集, 迁移学习

Abstract:

Aiming at the photo spoofing problem that often occurs in identity verification， a face liveness detection model based on InceptionV3 and feature fusion， called InceptionV3 and Feature Fusion （InceptionV3_FF）， was proposed. Firstly， the InceptionV3 model was pretrained on ImageNet dataset. Secondly， the shallow， middle， and deep features of the image were obtained from different layers of the InceptionV3 model. Thirdly， different features were fused to obtain the final features. Finally， the fully connected layer was used to classify the features to achieve end-to-end training. The InceptionV3_FF model was simulated on NUAA dataset and self-made STAR dataset. Experimental results show that the proposed InceptionV3_FF model achieves the accuracy of 99.96% and 98.85% on NUAA dataset and STAR dataset respectively， which are higher than those of the InceptionV3 transfer learning and transfer fine-tuning models. Compared with Nonlinear Diffusion-CNN （ND-CNN）， Diffusion Kernel （DK）， Heterogeneous Kernel-Convolutional Neural Network （HK-CNN） and other models， the InceptionV3_FF model has higher accuracy on NUAA dataset and has certain advantages. When the InceptionV3_FF model recognizes a single image randomly selected from the dataset， it only takes 4 ms. The face liveness detection system consisted of the InceptionV3_FF model and OpenCV can identify real and fake faces.

Key words: liveness detection, feature fusion, face recognition, ImageNet dataset, NUAA dataset, transfer learning

中图分类号:

TP183

杨瑞杰, 郑贵林. 基于InceptionV3和特征融合的人脸活体检测[J]. 计算机应用, 2022, 42(7): 2037-2042.

Ruijie YANG, Guilin ZHENG. Face liveness detection based on InceptionV3 and feature fusion[J]. Journal of Computer Applications, 2022, 42(7): 2037-2042.

图/表 13

表1 数据集的划分

Tab.1 Dataset partitioning

数据集	训练集样本数	验证集样本数	测试集样本数
NUAA	7 563	2 521	2 521
STAR	2 402	800	800

表2 数据增强参数

Tab.2 Data augmentation parameters

参数	值
Zoom_range	0.25
Rotation_range	15
Channel_shift_range	25
rescale	1/255
Width_shift_range	0.02
Height_shift_range	0.02
Horizontal_flip	True

图1 InceptionV3的结构

Fig.1 Structure of InceptionV3

图2 InceptionV3_FF的结构

Fig.2 Structure of InceptionV3_FF

图3 InceptionV3_FF模型准确率（NUAA数据集）

Fig.3 InceptionV3_FF model accuracy （NUAA dataset）

图4 InceptionV3_FF模型损失函数（NUAA数据集）

Fig.4 InceptionV3_FF model loss function （NUAA dataset）

图5 InceptionV3_FF模型准确率（STAR数据集）

Fig.5 InceptionV3_FF model accuracy （STAR dataset）

图6 InceptionV3_FF模型损失函数（STAR数据集）

Fig.6 InceptionV3_FF model loss function （STAR dataset）

表3 3种模型的测试结果对比

Tab.3 Comparison of test results of three models

模型	数据集	准确率	AUC
InceptionV3_FF	STAR	0.988 5	0.998 0
InceptionV3_FF	NUAA	0.999 6	0.999 8
InceptionV3_T	STAR	0.905 0	0.956 2
InceptionV3_T	NUAA	0.995 2	0.999 6
InceptionV3_TL	STAR	0.970 5	0.987 7
InceptionV3_TL	NUAA	0.997 5	0.999 3

表4 不同模型的准确率结果对比 (%)

Tab.4 Accuracy results comparison of different models

模型	准确率
ND-CNN^［24］	99.00
DK^［25］	99.30
ELM-LRF^［26］	99.67
Resnet50+depth+se^［27］	95.91
HK-CNN^［28］	99.82
GLCM+DT-CWT+GS+LBP^［29］	99.76
LBP+模糊特征+色彩纹理特征^［30］	99.27
本文模型	99.96

图7 图片识别结果

Fig.7 Image recognition results

图8 真实人脸识别结果

Fig.8 Real face recognition results

图9 真实和虚假人脸识别结果

Fig.9 Real and fake face recognition results

参考文献 30

1	BOULKENAFET Z， KOMULAINE J， HADID A. Face anti-spoofing based on color texture analysis［C］// Proceedings of the 2015 IEEE International Conference on Image Processing. Piscataway： IEEE， 2015： 2636-2640. 10.1109/icip.2015.7351280
2	BOULKENAFET Z， KOMULAINEN J， HADID A. Face spoofing detection using colour texture analysis［J］. IEEE Transactions on Information Forensics and Security， 2016， 11（8）：1818-1830. 10.1109/tifs.2016.2555286
3	LI X B， KOMULAINEN J， ZHAO G Y， et al. Generalized face anti-spoofing by detecting pulse from face videos［C］// Proceedings of the 23rd International Conference on Pattern Recognition. Piscataway： IEEE， 2016： 4244-4249. 10.1109/icpr.2016.7900300
4	CHINGOVSKA I， ERDOGMUS N， ANJOS A， et al. Face recognition systems under spoofing attacks ［M］// BOURLAI T. Face Recognition Across the Imaging Spectrum. Cham： Springer， 2016：165-194. 10.1007/978-3-319-28501-6_8
5	LIU S Q， LAN X Y， YUEN P C. Remote photoplethysmography correspondence feature for 3D mask face presentation attack detection［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11220. Cham： Springer， 2018：577-594.
6	COSTA-PAZO A， BHATTACHARJEE S， VAZQUEZ-FERNANDEZ E， et al. The replay-mobile face presentation-attack database［C］// Proceedings of the 2016 International Conference of the Biometrics Special Interest Group. Piscataway： IEEE， 2016：1-7. 10.1109/biosig.2016.7736936
7	KIM Y， NA J， YOON S， et al. Masked fake face detection using radiance measurements［J］. Journal of the Optical Society of America A， 2009， 26（4）：760-766. 10.1364/josaa.26.000760
8	ATOUM Y， LIU Y J， JOURABLOO A， et al. Face anti-spoofing using patch and depth-based CNNs［C］// Proceedings of the 2017 IEEE International Joint Conference on Biometrics. Piscataway： IEEE， 2017： 319-328. 10.1109/btas.2017.8272713
9	LIU Y J， JOURABLOO A， LIU X M. Learning deep models for face anti-spoofing： binary or auxiliary supervision［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 389-398. 10.1109/cvpr.2018.00048
10	DE FREITAS PEREIRA T， ANJOS A， DE MARTINO J M， et al. LBP-TOP based countermeasure against face spoofing attacks［C］// Proceedings of the 2012 Asian Conference on Computer Vision， LNCS 7728. Berlin： Springer， 2013：121-132.
11	TANG Y， WANG X， JIA X， et al. Fusing multiple deep features for face anti-spoofing［C］// Proceedings of the 2018 Chinese Conference on Biometric Recognition， LNCS 10996. Cham： Springer， 2018： 321-330.
12	LUCENA O， JUNIOR A， MOIA V， et al. Transfer learning using convolutional neural networks for face anti-spoofing［C］// Proceedings of the 2017 International Conference on Image Analysis and Recognition， LNCS 10317. Cham： Springer， 2017： 27-34.
13	邓雄，王洪春. 基于深度学习和特征融合的人脸活体检测算法［J］. 计算机应用， 2020， 40（4）：1009-1015. 10.11772/j.issn.1001-9081.2019091595
	DENG X， WANG H C. Face liveness detection algorithm based on deep learning and feature fusion［J］. Journal of Computer Applications， 2020， 40（4）：1009-1015. 10.11772/j.issn.1001-9081.2019091595
14	栾晓，李晓双. 基于多特征融合的人脸活体检测算法［J］. 计算机科学， 2021， 48（11A）：409-415. 10.11896/jsjkx.210100181
	LUAN X， LI X S. Face anti-spoofing algorithm based on multi-feature fusion［J］. Computer Science， 2021， 48（11A）：409-415. 10.11896/jsjkx.210100181
15	TRONCI R， MUNTONI D， FADDA G， et al. Fusion of multiple clues for photo-attack detection in face recognition systems［C］// Proceedings of the 2011 International Joint Conference on Biometrics. Piscataway： IEEE， 2011：1-6. 10.1109/ijcb.2011.6117522
16	YAN J J， ZHANG Z W， LEI Z， et al. Face liveness detection by exploring multiple scenic clues［C］// Proceedings of the 12th International Conference on Control Automation Robotics and Vision. Piscataway： IEEE， 2012： 188-193. 10.1109/icarcv.2012.6485156
17	WANG Y， NIAN F D， LI T， et al. Robust face anti-spoofing with depth information［J］. Journal of Visual Communication and Image Representation， 2017， 49： 332-337. 10.1016/j.jvcir.2017.09.002
18	CAI P， QUAN H M. Face anti-spoofing algorithm combined with CNN and brightness equalization［J］. Journal of Central South University， 2021， 28（1）：194-204. 10.1007/s11771-021-4596-y
19	封筠，董祉怡，刘甜甜，等. 融合DQ_CoALBP和LPQ算子的人脸活体检测［J/OL］. 计算机工程与应用. （2021-04-19）［2021-05-10］.. 10.3778/j.issn.1002-8331.2012-0123
	FENG J， DONG Z Y， LIU T T， et al. Face anti-spoofing liveness detection based on combining DQ_CoALBP with LPQ descriptors［J/OL］. Computer Engineering and Applications. （2021-04-19）［2021-05-10］.. 10.3778/j.issn.1002-8331.2012-0123
20	LI C Y， LI R， SUN J H. CNN face live detection algorithm based on binocular camera［J］. Journal of Physics： Conference Series， 2021， 1881（2）： No.022015. 10.1088/1742-6596/1881/2/022015
21	SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9. 10.1109/cvpr.2015.7298594
22	PAN S J， YANG Q. A survey on transfer learning［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）： 1345-1359. 10.1109/tkde.2009.191
23	ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8689. Cham： Springer， 2014： 818-833.
24	ALOTAIBI A， MAHMOOD A. Deep face liveness detection based on nonlinear diffusion using convolution neural network［J］. Signal， Image and Video Processing， 2017， 11（4）： 713-720. 10.1007/s11760-016-1014-2
25	YU C Y， JIA Y D. Anisotropic diffusion-based kernel matrix model for face liveness detection［EB/OL］. （2017-07-10）［2021-05-22］.. 10.1016/j.imavis.2019.06.009
26	蔡祥云. 人脸识别中的活体检测及应用研究［D］. 兰州：兰州交通大学， 2020：34-48.
	CAI X Y. Research on spoofing detection and application in face recognition［D］. Lanzhou： Lanzhou Jiaotong University， 2020：34-48.
27	陈路燕. 人脸识别中的活体检测算法研究［D］. 北京：北京邮电大学， 2020：23-38.
	CHEN L Y. Research on face anti-spoofing algorithm in face recognition［D］. Beijing： Beijing University of Posts and Telecommunications， 2020：23-38.
28	卢鑫. 基于改进卷积神经网络的人脸活体检测研究［D］. 鞍山：辽宁科技大学， 2020：39-48. 10.1007/978-981-15-3415-7_32
	LU X. Research of face liveness detection based on improved convolutional neural network［D］. Anshan： University of Science and Technology Liaoning， 2020：39-48. 10.1007/978-981-15-3415-7_32
29	曲啸枫. 基于多特征融合的活体人脸检测算法研究及应用［D］. 济南：济南大学， 2019：21-28.
	QU X F. Research and application of face liveness detection based on multi-feature fusion［D］. Jinan： University of Jinan， 2019：21-28.
30	李新豆，高陈强，周风顺，等. 基于图像扩散速度模型和纹理信息的人脸活体检测［J］. 计算机科学， 2020， 47（2）：112-117. 10.11896/jsjkx.181202339
	LI X D， GAO C Q， ZHOU F S， et al. Face liveness detection based on image diffusion speed model and texture information［J］. Computer Science， 2020， 47（2）：112-117. 10.11896/jsjkx.181202339

[1]	贺怀清, 闫建青, 惠康华. 基于深度残差网络的轻量级人脸识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2030-2036.
[2]	陈颖, 于炯, 陈嘉颖, 杜旭升. 基于交叉层级数据共享的多任务模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1447-1454.
[3]	李默, 芦天亮, 谢子恒. 基于代码图像合成的Android恶意软件家族分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1490-1499.
[4]	刘志华, 陈文洁, 陈爱斌. 基于自注意力机制时频谱同源特征融合的鸟鸣声分类[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1260-1268.
[5]	汪祖民, 张志豪, 秦静, 季长清. 基于卷积神经网络的机械故障诊断技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1036-1043.
[6]	胡新荣, 张君宇, 彭涛, 刘军平, 何儒汉, 何凯. 级联跨域特征融合的虚拟试衣[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1269-1274.
[7]	朱文球, 邹广, 曾志高. 融合层次特征和混合注意力的目标跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 833-843.
[8]	邓天民, 冒国韬, 周臻浩, 段志坚. 基于密集连接卷积神经网络的道路车辆检测与识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 883-889.
[9]	林乐平, 周宏敏, 欧阳宁. 融合空间位置与结构信息的压缩感知图像重建方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 930-937.
[10]	杨鼎康, 黄帅, 王顺利, 翟鹏, 李一丹, 张立华. 基于生成对抗网络和网络集成的面部表情识别方法EE-GAN[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 750-756.
[11]	王品学, 张绍兵, 成苗, 何莲, 秦小山. 基于可变形卷积和自适应空间特征融合的硬币表面缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 638-645.
[12]	王润泽, 张月琴, 秦琪琦, 张泽华, 郭旭敏. 多视角多注意力融合分子特征的药物-靶标亲和力预测[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 325-332.
[13]	高工, 杨红雨, 刘洪. 基于深度学习的三维点云人脸识别[J]. 计算机应用, 2021, 41(9): 2736-2740.
[14]	王伟, 赵尔平, 崔志远, 孙浩. 基于HowNet义原和Word2vec词向量表示的多特征融合消歧方法[J]. 计算机应用, 2021, 41(8): 2193-2198.
[15]	周险兵, 樊小超, 任鸽, 杨勇. 基于多层次语义特征的英文作文自动评分方法[J]. 计算机应用, 2021, 41(8): 2205-2211.