基于InceptionV3和特征融合的人脸活体检测

doi:10.11772/j.issn.1001-9081.2021050814

摘要/Abstract

摘要：

针对身份验证中经常出现的照片欺诈问题，提出了一种基于InceptionV3和特征融合的人脸活体检测模型——InceptionV3_FF。首先，在ImageNet数据集上预训练InceptionV3模型；其次，从InceptionV3模型的不同层得到图像的浅层、中层和深层特征；然后，将不同的特征进行融合得到最终的特征；最后，使用全连接层对特征进行分类，从而实现端到端的训练。InceptionV3_FF模型在NUAA数据集和自制的STAR数据集上进行仿真实验，实验结果表明，InceptionV3_FF模型在NUAA数据集和STAR数据集上分别取得了99.96%和98.85%的准确率，高于InceptionV3迁移学习和迁移微调模型；而与非线性扩散卷积神经网络（ND-CNN）、扩散核（DK）、异构内核卷积神经网络（HK-CNN）等模型相比，InceptionV3_FF模型在NUAA数据集上的准确率更高，具备一定的优越性。InceptionV3_FF模型对数据集中随机抽取的单张图片进行识别时，仅需4 ms。InceptionV3_FF模型和OpenCV结合构成的活体检测系统可以对真假人脸进行识别。

关键词: 活体检测, 特征融合, 人脸识别, ImageNet数据集, NUAA数据集, 迁移学习

Abstract:

Aiming at the photo spoofing problem that often occurs in identity verification， a face liveness detection model based on InceptionV3 and feature fusion， called InceptionV3 and Feature Fusion （InceptionV3_FF）， was proposed. Firstly， the InceptionV3 model was pretrained on ImageNet dataset. Secondly， the shallow， middle， and deep features of the image were obtained from different layers of the InceptionV3 model. Thirdly， different features were fused to obtain the final features. Finally， the fully connected layer was used to classify the features to achieve end-to-end training. The InceptionV3_FF model was simulated on NUAA dataset and self-made STAR dataset. Experimental results show that the proposed InceptionV3_FF model achieves the accuracy of 99.96% and 98.85% on NUAA dataset and STAR dataset respectively， which are higher than those of the InceptionV3 transfer learning and transfer fine-tuning models. Compared with Nonlinear Diffusion-CNN （ND-CNN）， Diffusion Kernel （DK）， Heterogeneous Kernel-Convolutional Neural Network （HK-CNN） and other models， the InceptionV3_FF model has higher accuracy on NUAA dataset and has certain advantages. When the InceptionV3_FF model recognizes a single image randomly selected from the dataset， it only takes 4 ms. The face liveness detection system consisted of the InceptionV3_FF model and OpenCV can identify real and fake faces.

Key words: liveness detection, feature fusion, face recognition, ImageNet dataset, NUAA dataset, transfer learning

中图分类号:

TP183

杨瑞杰, 郑贵林. 基于InceptionV3和特征融合的人脸活体检测[J]. 计算机应用, 2022, 42(7): 2037-2042.

Ruijie YANG, Guilin ZHENG. Face liveness detection based on InceptionV3 and feature fusion[J]. Journal of Computer Applications, 2022, 42(7): 2037-2042.

图/表 13

表1 数据集的划分

Tab.1 Dataset partitioning

数据集	训练集样本数	验证集样本数	测试集样本数
NUAA	7 563	2 521	2 521
STAR	2 402	800	800

表2 数据增强参数

Tab.2 Data augmentation parameters

参数	值
Zoom_range	0.25
Rotation_range	15
Channel_shift_range	25
rescale	1/255
Width_shift_range	0.02
Height_shift_range	0.02
Horizontal_flip	True

图1 InceptionV3的结构

Fig.1 Structure of InceptionV3

图2 InceptionV3_FF的结构

Fig.2 Structure of InceptionV3_FF

图3 InceptionV3_FF模型准确率（NUAA数据集）

Fig.3 InceptionV3_FF model accuracy （NUAA dataset）

图4 InceptionV3_FF模型损失函数（NUAA数据集）

Fig.4 InceptionV3_FF model loss function （NUAA dataset）

图5 InceptionV3_FF模型准确率（STAR数据集）

Fig.5 InceptionV3_FF model accuracy （STAR dataset）

图6 InceptionV3_FF模型损失函数（STAR数据集）

Fig.6 InceptionV3_FF model loss function （STAR dataset）

表3 3种模型的测试结果对比

Tab.3 Comparison of test results of three models

模型	数据集	准确率	AUC
InceptionV3_FF	STAR	0.988 5	0.998 0
InceptionV3_FF	NUAA	0.999 6	0.999 8
InceptionV3_T	STAR	0.905 0	0.956 2
InceptionV3_T	NUAA	0.995 2	0.999 6
InceptionV3_TL	STAR	0.970 5	0.987 7
InceptionV3_TL	NUAA	0.997 5	0.999 3

表4 不同模型的准确率结果对比 (%)

Tab.4 Accuracy results comparison of different models

模型	准确率
ND-CNN^［24］	99.00
DK^［25］	99.30
ELM-LRF^［26］	99.67
Resnet50+depth+se^［27］	95.91
HK-CNN^［28］	99.82
GLCM+DT-CWT+GS+LBP^［29］	99.76
LBP+模糊特征+色彩纹理特征^［30］	99.27
本文模型	99.96

图7 图片识别结果

Fig.7 Image recognition results

图8 真实人脸识别结果

Fig.8 Real face recognition results

图9 真实和虚假人脸识别结果

Fig.9 Real and fake face recognition results

参考文献 30

1	BOULKENAFET Z， KOMULAINE J， HADID A. Face anti-spoofing based on color texture analysis［C］// Proceedings of the 2015 IEEE International Conference on Image Processing. Piscataway： IEEE， 2015： 2636-2640. 10.1109/icip.2015.7351280
2	BOULKENAFET Z， KOMULAINEN J， HADID A. Face spoofing detection using colour texture analysis［J］. IEEE Transactions on Information Forensics and Security， 2016， 11（8）：1818-1830. 10.1109/tifs.2016.2555286
3	LI X B， KOMULAINEN J， ZHAO G Y， et al. Generalized face anti-spoofing by detecting pulse from face videos［C］// Proceedings of the 23rd International Conference on Pattern Recognition. Piscataway： IEEE， 2016： 4244-4249. 10.1109/icpr.2016.7900300
4	CHINGOVSKA I， ERDOGMUS N， ANJOS A， et al. Face recognition systems under spoofing attacks ［M］// BOURLAI T. Face Recognition Across the Imaging Spectrum. Cham： Springer， 2016：165-194. 10.1007/978-3-319-28501-6_8
5	LIU S Q， LAN X Y， YUEN P C. Remote photoplethysmography correspondence feature for 3D mask face presentation attack detection［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11220. Cham： Springer， 2018：577-594.
6	COSTA-PAZO A， BHATTACHARJEE S， VAZQUEZ-FERNANDEZ E， et al. The replay-mobile face presentation-attack database［C］// Proceedings of the 2016 International Conference of the Biometrics Special Interest Group. Piscataway： IEEE， 2016：1-7. 10.1109/biosig.2016.7736936
7	KIM Y， NA J， YOON S， et al. Masked fake face detection using radiance measurements［J］. Journal of the Optical Society of America A， 2009， 26（4）：760-766. 10.1364/josaa.26.000760
8	ATOUM Y， LIU Y J， JOURABLOO A， et al. Face anti-spoofing using patch and depth-based CNNs［C］// Proceedings of the 2017 IEEE International Joint Conference on Biometrics. Piscataway： IEEE， 2017： 319-328. 10.1109/btas.2017.8272713
9	LIU Y J， JOURABLOO A， LIU X M. Learning deep models for face anti-spoofing： binary or auxiliary supervision［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 389-398. 10.1109/cvpr.2018.00048
10	DE FREITAS PEREIRA T， ANJOS A， DE MARTINO J M， et al. LBP-TOP based countermeasure against face spoofing attacks［C］// Proceedings of the 2012 Asian Conference on Computer Vision， LNCS 7728. Berlin： Springer， 2013：121-132.
11	TANG Y， WANG X， JIA X， et al. Fusing multiple deep features for face anti-spoofing［C］// Proceedings of the 2018 Chinese Conference on Biometric Recognition， LNCS 10996. Cham： Springer， 2018： 321-330.
12	LUCENA O， JUNIOR A， MOIA V， et al. Transfer learning using convolutional neural networks for face anti-spoofing［C］// Proceedings of the 2017 International Conference on Image Analysis and Recognition， LNCS 10317. Cham： Springer， 2017： 27-34.
13	邓雄，王洪春. 基于深度学习和特征融合的人脸活体检测算法［J］. 计算机应用， 2020， 40（4）：1009-1015. 10.11772/j.issn.1001-9081.2019091595
	DENG X， WANG H C. Face liveness detection algorithm based on deep learning and feature fusion［J］. Journal of Computer Applications， 2020， 40（4）：1009-1015. 10.11772/j.issn.1001-9081.2019091595
14	栾晓，李晓双. 基于多特征融合的人脸活体检测算法［J］. 计算机科学， 2021， 48（11A）：409-415. 10.11896/jsjkx.210100181
	LUAN X， LI X S. Face anti-spoofing algorithm based on multi-feature fusion［J］. Computer Science， 2021， 48（11A）：409-415. 10.11896/jsjkx.210100181
15	TRONCI R， MUNTONI D， FADDA G， et al. Fusion of multiple clues for photo-attack detection in face recognition systems［C］// Proceedings of the 2011 International Joint Conference on Biometrics. Piscataway： IEEE， 2011：1-6. 10.1109/ijcb.2011.6117522
16	YAN J J， ZHANG Z W， LEI Z， et al. Face liveness detection by exploring multiple scenic clues［C］// Proceedings of the 12th International Conference on Control Automation Robotics and Vision. Piscataway： IEEE， 2012： 188-193. 10.1109/icarcv.2012.6485156
17	WANG Y， NIAN F D， LI T， et al. Robust face anti-spoofing with depth information［J］. Journal of Visual Communication and Image Representation， 2017， 49： 332-337. 10.1016/j.jvcir.2017.09.002
18	CAI P， QUAN H M. Face anti-spoofing algorithm combined with CNN and brightness equalization［J］. Journal of Central South University， 2021， 28（1）：194-204. 10.1007/s11771-021-4596-y
19	封筠，董祉怡，刘甜甜，等. 融合DQ_CoALBP和LPQ算子的人脸活体检测［J/OL］. 计算机工程与应用. （2021-04-19）［2021-05-10］.. 10.3778/j.issn.1002-8331.2012-0123
	FENG J， DONG Z Y， LIU T T， et al. Face anti-spoofing liveness detection based on combining DQ_CoALBP with LPQ descriptors［J/OL］. Computer Engineering and Applications. （2021-04-19）［2021-05-10］.. 10.3778/j.issn.1002-8331.2012-0123
20	LI C Y， LI R， SUN J H. CNN face live detection algorithm based on binocular camera［J］. Journal of Physics： Conference Series， 2021， 1881（2）： No.022015. 10.1088/1742-6596/1881/2/022015
21	SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9. 10.1109/cvpr.2015.7298594
22	PAN S J， YANG Q. A survey on transfer learning［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）： 1345-1359. 10.1109/tkde.2009.191
23	ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8689. Cham： Springer， 2014： 818-833.
24	ALOTAIBI A， MAHMOOD A. Deep face liveness detection based on nonlinear diffusion using convolution neural network［J］. Signal， Image and Video Processing， 2017， 11（4）： 713-720. 10.1007/s11760-016-1014-2
25	YU C Y， JIA Y D. Anisotropic diffusion-based kernel matrix model for face liveness detection［EB/OL］. （2017-07-10）［2021-05-22］.. 10.1016/j.imavis.2019.06.009
26	蔡祥云. 人脸识别中的活体检测及应用研究［D］. 兰州：兰州交通大学， 2020：34-48.
	CAI X Y. Research on spoofing detection and application in face recognition［D］. Lanzhou： Lanzhou Jiaotong University， 2020：34-48.
27	陈路燕. 人脸识别中的活体检测算法研究［D］. 北京：北京邮电大学， 2020：23-38.
	CHEN L Y. Research on face anti-spoofing algorithm in face recognition［D］. Beijing： Beijing University of Posts and Telecommunications， 2020：23-38.
28	卢鑫. 基于改进卷积神经网络的人脸活体检测研究［D］. 鞍山：辽宁科技大学， 2020：39-48. 10.1007/978-981-15-3415-7_32
	LU X. Research of face liveness detection based on improved convolutional neural network［D］. Anshan： University of Science and Technology Liaoning， 2020：39-48. 10.1007/978-981-15-3415-7_32
29	曲啸枫. 基于多特征融合的活体人脸检测算法研究及应用［D］. 济南：济南大学， 2019：21-28.
	QU X F. Research and application of face liveness detection based on multi-feature fusion［D］. Jinan： University of Jinan， 2019：21-28.
30	李新豆，高陈强，周风顺，等. 基于图像扩散速度模型和纹理信息的人脸活体检测［J］. 计算机科学， 2020， 47（2）：112-117. 10.11896/jsjkx.181202339
	LI X D， GAO C Q， ZHOU F S， et al. Face liveness detection based on image diffusion speed model and texture information［J］. Computer Science， 2020， 47（2）：112-117. 10.11896/jsjkx.181202339

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	刘瑞华, 郝子赫, 邹洋杨. 基于多层级精细特征融合的步态识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2250-2257.
[3]	翟飞宇, 马汉达. 基于DenseNet的经典-量子混合分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1905-1910.
[4]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[5]	刘越, 刘芳, 武奥运, 柴秋月, 王天笑. 基于自注意力机制与图卷积的3D目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1972-1977.
[6]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政. 融合多尺度和注意力机制的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[7]	韩贵金, 张馨渊, 张文涛, 黄娅. 基于多特征融合的自监督图像配准算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1597-1604.
[8]	时旺军, 王晶, 宁晓军, 林友芳. 小样本场景下的元迁移学习睡眠分期模型[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1445-1451.
[9]	李鑫, 孟乔, 皇甫俊逸, 孟令辰. 基于分离式标签协同学习的YOLOv5多属性分类[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1619-1628.
[10]	王昊冉, 于丹, 杨玉丽, 马垚, 陈永乐. 面向工控系统未知攻击的域迁移入侵检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1158-1165.
[11]	蒋占军, 吴佰靖, 马龙, 廉敬. 多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 938-944.
[12]	吴宁, 罗杨洋, 许华杰. 基于多尺度特征融合的遥感图像语义分割方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 737-744.
[13]	郑宇亮, 陈云华, 白伟杰, 陈平华. 融合事件数据和图像帧的车辆目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 931-937.
[14]	贾宗泽, 高鹏飞, 马应龙, 刘晓峰, 夏海鑫. 基于注意力机制的多特征融合对话行为层次化分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 715-721.
[15]	李新叶, 侯晔凝, 孔英会, 燕志旗. 结合特征融合与增强注意力的少样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 745-751.