基于区域分块和轻量级网络的人脸反欺骗方法

doi:10.11772/j.issn.1001-9081.2021101723

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (12): 3708-3714.DOI: 10.11772/j.issn.1001-9081.2021101723

• 人工智能 • 上一篇

基于区域分块和轻量级网络的人脸反欺骗方法

贺丹¹, 何希平¹^,²(), 李悦¹, 袁锐¹, 牛园园¹

^1.重庆工商大学人工智能学院，重庆 400067
^2.检测控制集成系统重庆市工程实验室（重庆工商大学），重庆 400067

收稿日期:2021-10-08 修回日期:2021-12-14 接受日期:2021-12-23 发布日期:2021-12-31 出版日期:2022-12-10
通讯作者: 何希平
作者简介:贺丹（1997—），女，湖南涟源人，硕士研究生，主要研究方向：计算机视觉、深度学习、活体检测
李悦（1998—），女，河南南阳人，硕士研究生，主要研究方向：计算机视觉、深度学习、人脸属性编辑
袁锐（1999—），男，四川巴中人，硕士研究生，主要研究方向：计算机视觉、深度学习、人脸属性编辑
牛园园（1998—），女，河南许昌人，硕士研究生，主要研究方向：深度学习、膜计算。
基金资助:
重庆市研究生科研创新项目(CYS21398);重庆工商大学研究生科研创新项目(yjscxx2021-112-99)

Face anti-spoofing method based on regional blocking and lightweight network

Dan HE¹, Xiping HE¹^,²(), Yue LI¹, Rui YUAN¹, Yuanyuan NIU¹

^1.School of Artificial Intelligence，Chongqing Technology and Business University，Chongqing 400067，China
^2.Chongqing Engineering Laboratory for Detection，Control and Integrated System （Chongqing Technology and Business University），Chongqing 400067，China

Received:2021-10-08 Revised:2021-12-14 Accepted:2021-12-23 Online:2021-12-31 Published:2022-12-10
Contact: Xiping HE
About author:HE Dan，born in 1997， M. S. candidate. Her research interests include computer vision， deep learning， liveness detection.
LI Yue， born in 1998， M. S. candidate. Her research interests include computer vision， deep learning， face attribute editing.
YUAN Rui， born in 1999， M. S. candidate. His research interests include computer vision， deep learning， face attribute editing.
NIU Yuanyuan， born in 1998， M. S. candidate. Her research interests include deep learning， membrane computing.
Supported by:
Graduate Scientific Research and Innovation Project of Chongqing(CYS21398);Graduate Innovation Project of Chongqing Technology and Business University(yjscxx2021-112-99)

摘要/Abstract

摘要：

如何高效地辨别各种被攻击的人脸是人脸识别过程中迫切需要解决的问题。基于深度学习的人脸反欺骗方法在有着高性能的同时，也带来了庞大的参数量和计算量，使其无法部署在移动或嵌入式设备中。针对以上问题，提出了一种基于区域分块和轻量级网络的人脸反欺骗方法。首先，对训练样本进行随机区域分块；然后，设计了一种基于注意力机制的轻量级网络用于特征提取和图像分类；最后，为了提高测试准确率，对测试样本进行基于区域分块的数据扩增。实验结果表明，所提模型在CASIA-FASD和REPLAY-ATTACK数据集上达到了100%的准确率；在CASIA-SURF数据集的Depth模态上获得了99.49%的准确率和0.458 0%的平均分类错误率（ACER），远优于ResNet、ShuffleNet等卷积神经网络，且该模型的参数量也仅有0.258 2 MB。在实际应用中，端到端的轻量级网络结构使所提模型更方便部署在移动设备上来进行实时的人脸反欺骗检测。

关键词: 人脸反欺骗, 区域分块, 中心差分卷积, 注意力机制, 轻量级网络, 卷积神经网络

Abstract:

How to effectively identify all kinds of attacked faces is an urgent problem to be solved in the process of face recognition. The face anti-spoofing methods based on deep learning have high performance， but also bring a large number of parameters and calculation， so they cannot be deployed in mobile or embedded devices. To solve the above problems， a face anti-spoofing method based on regional blocking and lightweight network was proposed. Firstly， the training samples were randomly blocked. Then， a lightweight network based on attention mechanism was designed for feature extraction and image classification. Finally， in order to improve the detection accuracy， data augmentation was conducted on the test samples based on regional blocking. Experimental results show that the proposed model reaches 100% accuracy on REPLAY-ATTACK and CASIA-FASD datasets. At the same time， the proposed model obtains 99.49% accuracy and 0.458 0% Average Classification Error Rate （ACER） on the Depth modal of CASIA-SURF dataset， which are much better than those obtained by convolutional neural networks such as ResNet and ShuffleNet. And the parameter amount of the model is only 0.258 2 MB. In practical applications， the end-to-end lightweight network structure makes the proposed model easier to be deployed on mobile devices for real-time face anti-spoofing detection.

Key words: face anti-spoofing, regional blocking, Central Difference Convolution (CDC), attention mechanism, lightweight network, Convolutional Neural Network (CNN)

中图分类号:

TP183

贺丹, 何希平, 李悦, 袁锐, 牛园园. 基于区域分块和轻量级网络的人脸反欺骗方法[J]. 计算机应用, 2022, 42(12): 3708-3714.

Dan HE, Xiping HE, Yue LI, Rui YUAN, Yuanyuan NIU. Face anti-spoofing method based on regional blocking and lightweight network[J]. Journal of Computer Applications, 2022, 42(12): 3708-3714.

图/表 12

参考文献 27

1	BOULKENAFET Z， KOMULAINEN J， HADID A. On the generalization of color texture-based face anti-spoofing［J］. Image and Vision Computing， 2018， 77： 1-9. 10.1016/j.imavis.2018.04.007
2	BOULKENAFET Z， KOMULAINEN J， HADID A. Face antispoofing using speeded-up robust features and Fisher vector encoding［J］. IEEE Signal Processing Letters， 2017， 24（2）： 141-145.
3	SINGH A K， JOSHI P， NANDI G C. Face recognition with liveness detection using eye and mouth movement［C］// Proceedings of the 2014 International Conference on Signal Propagation and Computer Technology. Piscataway： IEEE， 2014： 592-597. 10.1109/icspct.2014.6884911
4	WANG Y， NIAN F D， LI T， et al. Robust face anti-spoofing with depth information［J］. Journal of Visual Communication and Image Representation， 2017， 49： 332-337. 10.1016/j.jvcir.2017.09.002
5	LI X B， KOMULAINEN J， ZHAO G Y， et al. Generalized face anti-spoofing by detecting pulse from face videos［C］// Proceedings of the 23rd International Conference on Pattern Recognition. Piscataway： IEEE， 2016： 4244-4249. 10.1109/icpr.2016.7900300
6	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
7	HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2261-2269. 10.1109/cvpr.2017.243
8	SANDLER M， HOWRD A， ZHU M L， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：4510-4520. 10.1109/cvpr.2018.00474
9	WANG Z Z， YU Z T， ZHAO C X， et al. Deep spatial gradient and temporal depth learning for face anti-spoofing［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：5041-5050. 10.1109/cvpr42600.2020.00509
10	ZHANG P， ZOU F H， WU Z W， et al. FeatherNets： convolutional neural networks as light as feather for face anti-spoofing［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 1574-1583. 10.1109/cvprw.2019.00199
11	YU Z T， ZHAO C X， WANG Z Z， et al. Searching central difference convolutional networks for face anti-spoofing［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 5294-5304. 10.1109/cvpr42600.2020.00534
12	BRENDEL W， BETHGE M. Approximating CNNs with bag-of-local-features models works surprisingly well on ImageNet［EB/OL］. （2019-03-20）［2021-12-08］..
13	SHEN T， HUANG Y Y， TONG Z J. FaceBagNet： bag-of-local-features model for multi-modal face anti-spoofing［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2019： 1611-1616. 10.1109/cvprw.2019.00203
14	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
15	MA N N， ZHANG X Y， ZHENG H T， et al. ShuffleNet V2： practical guidelines for efficient CNN architecture design［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11218. Cham： Springer， 2018：122-138.
16	HAN K， WANG Y H， TIAN Q， et al. GhostNet： more features from cheap operations［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1577-1586. 10.1109/cvpr42600.2020.00165
17	CHINGOVSKA I， ANJOS A， MARCEL S. On the effectiveness of local binary patterns in face anti-spoofing［C］// Proceedings of the 2012 International Conference of Biometrics Special Interest Group. Piscataway： IEEE， 2012：1-7.
18	ZHANG Z W， YAN J J， LIU S F， et al. A face antispoofing database with diverse attacks［C］// Proceedings of the 5th IAPR International Conference on Biometrics. Piscataway： IEEE， 2012： 26-31. 10.1109/icb.2012.6199754
19	ZHANG S F， WANG X B， LIU A J， et al. A dataset and benchmark for large-scale multi-modal face anti-spoofing［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 919-928. 10.1109/cvpr.2019.00101
20	SHI L， ZHOU Z， GUO Z H. Face anti-spoofing using spatial pyramid pooling［C］// Proceedings of the 25th International Conference on Pattern Recognition. Piscataway： IEEE， 2021： 2126-2133. 10.1109/icpr48806.2021.9412407
21	CHEN H N， CHEN Y W， TIAN X， et al. A cascade face spoofing detector based on face anti-spoofing R-CNN and improved Retinex LBP［J］. IEEE Access， 2019， 7： 170116-170133. 10.1109/access.2019.2955383
22	KHAMMARI M. Robust face anti-spoofing using CNN with LBP and WLD［J］. IET Image Processing， 2019， 13（11）： 1880-1884. 10.1049/iet-ipr.2018.5560
23	LIU Y J， JOURABLOO A， LIU X M. Learning deep models for face anti-spoofing： binary or auxiliary supervision［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 389-398. 10.1109/cvpr.2018.00048
24	栾晓，李晓双. 基于多特征融合的人脸活体检测算法［J］. 计算机科学， 2021， 48（11A）：409-415. 10.11896/jsjkx.210100181
	LUAN X， LI X S. Face anti-spoof algorithm based on multi-feature fusion［J］. Computer Science， 2021， 48（11A）：409-415. 10.11896/jsjkx.210100181
25	LI L， FENG X Y， JIANG X Y， et al. Face anti-spoofing via deep local binary pattern［C］// Proceedings of the 2017 IEEE International Conference on Image Processing. Piscataway： IEEE， 2017： 101-105. 10.1109/icip.2017.8296251
26	YANG X， LUO W H， BAO L C， et al. Face anti-spoofing： model matters， so does data［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3502-3511. 10.1109/cvpr.2019.00362
27	LI X， WAN J， JIN Y， et al. 3DPC-Net： 3D point cloud network for face anti-spoofing［C］// Proceedings of the 2020 IEEE International Joint Conference on Biometrics. Piscataway： IEEE， 2020： 1-8. 10.1109/ijcb48548.2020.9304873

图像尺寸	CF/RA		CASIA-SURF（Depth）
图像尺寸	EER	HTER	ACC	ACER
32×32	0.0	0.0	98.25	1.738 7
48×48	0.0	0.0	99.20	0.703 6
64×64	0.0	0.0	99.50	0.548 3
80×80	0.0	0.0	99.42	0.493 9
96×96	0.0	0.0	99.49	0.458 0
112×112	0.0	0.0	99.37	0.664 6

图像尺寸	CF/RA		CASIA-SURF（Depth）
图像尺寸	EER	HTER	ACC	ACER
32×32	0.0	0.0	98.25	1.738 7
48×48	0.0	0.0	99.20	0.703 6
64×64	0.0	0.0	99.50	0.548 3
80×80	0.0	0.0	99.42	0.493 9
96×96	0.0	0.0	99.49	0.458 0
112×112	0.0	0.0	99.37	0.664 6

增强方案		CASIA-SURF（Depth）
增强方案		ACC/%	ACER/%
局部图像（96×96）	不增强	99.19	0.716 8
	方案一	99.22	0.663 6
	方案二	99.25	0.643 7
	方案三	99.38	0.539 1
	方案四	99.49	0.458 0
全脸图像（112×112）	不增强	99.09	0.936 0
全脸图像（112×112）	方案五	99.37	0.664 6

增强方案		CASIA-SURF（Depth）
增强方案		ACC/%	ACER/%
局部图像（96×96）	不增强	99.19	0.716 8
	方案一	99.22	0.663 6
	方案二	99.25	0.643 7
	方案三	99.38	0.539 1
	方案四	99.49	0.458 0
全脸图像（112×112）	不增强	99.09	0.936 0
全脸图像（112×112）	方案五	99.37	0.664 6

类型	数据集	模块				评价指标
类型	数据集	CDC	DWCDCGM	SE1	SE2	参数量/MB	ACER/%	ACC/%	HTER/%
数据集内部	CASIA-SURF（Depth）	√				0.316 5	0.690 2	99.15
		√	√			0.232 9	0.788 4	99.25
		√	√	√	√	0.258 2	0.458 0	99.49
跨数据集测试	CF训练RA测试		√					70.18	29.82
		√	√	√				72.25	24.45
			√		√			78.56	21.42
		√	√		√			84.35	15.61
		√	√	√	√			85.23	14.78

基于区域分块和轻量级网络的人脸反欺骗方法

Face anti-spoofing method based on regional blocking and lightweight network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 27

相关文章 15

编辑推荐

Metrics

数据集	方法	EER	HTER
CF	SPP_5-7-14^［20］	0.37	—
	文献［21］方法	2.36	—
	LBP+WLD^［22］	2.62	2.14
	Auxilliary^［23］	—	1.10
	文献［24］方法	0.11	—
	本文方法	0.00	0.00
RA	SPP_5-7-14^［20］	0.00	0.50
	文献［21］方法	0.06	0.18
	文献［25］方法	0.10	0.90
	LBP+WLD^［22］	0.53	0.69
	文献［24］方法	0.06	—
	本文方法	0.00	0.00

方法	ACC/%	ACER/%	参数量/MB	FLOPs/G	预测时间/s
ResNet18	96.42	3.320 9	1.072 9	1.455 2	0.062 2
ShuffleNetV2	98.63	1.426 9	0.917 9	0.555 0	0.036 3
MobileNetV2	98.58	1.330 4	2.143 5	0.055 5	0.011 3
FeatherNetA	99.12	0.913 4	0.345 3	0.014 7	0.007 7
FeatherNetB	99.20	0.757 2	0.351 2	0.015 3	0.007 8
本文方法	99.49	0.458 0	0.258 2	0.024 2	0.008 3

方法	HTER/%
方法	CF训练RA测试	RA训练CF测试
STASN^［26］	31.5	30.9
文献［24］方法	30.0	32.1
CDCN^［11］	15.5	32.6
Auxilliary^［23］	27.6	28.4
3DPC-Net^［27］	23.4	25.7
文献［9］方法	17.0	22.8
本文方法	14.8	33.3

[1]	李姚舜, 刘黎志. 嵌入注意力机制的轻量级钢筋检测网络[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2900-2908.
[2]	刘月峰, 张小燕, 郭威, 边浩东, 何滢婕. 基于优化混合模型的航空发动机剩余寿命预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2960-2968.
[3]	文凯, 唐伟伟, 熊俊臣. 基于注意力机制和有效分解卷积的实时分割算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2659-2666.
[4]	侯旭东, 滕飞, 张艺. 基于深度自编码的医疗命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2686-2692.
[5]	刘汉卿, 康晓东, 张福青, 赵秀圆, 杨靖怡, 王笑天, 李梦凡. 改进的Libra区域卷积神经网络的脑动脉狭窄影像学检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2909-2916.
[6]	衡红军, 徐天宝. 基于多尺度卷积和门控机制的注意力情感分析模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2674-2679.
[7]	王宇航, 周永霞, 吴良武. 基于高斯函数的池化算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2800-2806.
[8]	魏海云, 郑茜颖, 俞金玲. 基于多尺度网络的运动模糊图像复原算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2838-2844.
[9]	张文涛, 王园宇, 李赛泽. 基于条件对抗网络的单幅霾图像深度估计模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2865-2875.
[10]	邓杰航, 郭文权, 陈汉杰, 顾国生, 刘景建, 杜宇坤, 刘超, 康晓东, 赵建. 融合多尺度多头自注意力和在线难例挖掘的小样本硅藻检测[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2593-2600.
[11]	徐成霞, 阎庆, 李腾, 苗开超. 基于联合注意力机制的单幅图像去雨算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2578-2585.
[12]	张新宇, 丁胜, 杨治佩. 基于改进注意力机制的交通标志检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2378-2385.
[13]	玄英律, 万源, 陈嘉慧. 基于多尺度卷积和注意力机制的LSTM时间序列分类[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2343-2352.
[14]	吴明晖, 张广洁, 金苍宏. 基于多模态信息融合的时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2326-2332.
[15]	吕振虎, 许新征, 张芳艳. 基于挤压激励的轻量化注意力机制模块[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2353-2360.