姿态干扰下的深度人脸验证

doi:10.11772/j.issn.1001-9081.2021122214

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (2): 595-600.DOI: 10.11772/j.issn.1001-9081.2021122214

• 多媒体计算与计算机仿真 • 上一篇

姿态干扰下的深度人脸验证

王奇(), 雷航, 王旭鹏

电子科技大学信息与软件工程学院，成都 610054

收稿日期:2022-01-04 修回日期:2022-03-02 接受日期:2022-03-21 发布日期:2022-05-16 出版日期:2023-02-10
通讯作者: 王奇
作者简介:雷航（1960—），男，四川自贡人，教授，博士，CCF会员，主要研究方向：嵌入式操作系统
王旭鹏（1986—），男，山东烟台人，助理研究员，博士，CCF会员，主要研究方向：计算机视觉、模式识别。
基金资助:
国家自然科学基金资助项目(61802052)

Deep face verification under pose interference

Qi WANG(), Hang LEI, Xupeng WANG

School of Information and Software Engineering，University of Electronic Science and Technology of China，Chengdu Sichuan 610054，China

Received:2022-01-04 Revised:2022-03-02 Accepted:2022-03-21 Online:2022-05-16 Published:2023-02-10
Contact: Qi WANG
About author:LEI Hang， born in 1960， Ph. D.， professor. His research interests include embedded operating system.
WANG Xupeng， born in 1986， Ph. D，research assistant. His research interests include computer vision， pattern recognition.
Supported by:
National Natural Science Foundation of China(61802052)

摘要/Abstract

摘要：

人脸验证广泛应用于生活中各种场景，而普通RGB图像的获取依赖于光照条件。为解决光照和头部姿态对任务的干扰，提出了一个基于卷积神经网络的孪生网络L2-Siamese。首先，直接将成对的深度图作为输入；然后，用两个共享权重的卷积神经网络分别提取面部特征后，引入L2范数将不同姿态的人脸特征约束在一个半径固定的超球上；最后，通过全连接层将特征之间的差异映射为（0，1）区间的概率值来判断该组图像是否属于同一对象。为了验证L2-Siamese的有效性，在公共数据集Pandora上进行了测试。实验结果显示，L2-Siamese整体性能良好。将Pandora根据头部姿态干扰大小进行分组后的测试结果表明，在头部最大姿态干扰下，与当前最好的算法全卷积孪生网络相比，该网络预测准确率提高了4个百分点，有明显提升。

关键词: 人脸验证, 深度图, 深度学习, 孪生网络, 神经网络

Abstract:

Face verification is widely used in various scenes in life， and the acquisition of ordinary RGB images is extremely dependent on illumination conditions. In order to solve the interference of illumination and head pose， a convolutional neural network based Siamese network L2-Siamese was proposed. Firstly， the paired depth images were taken as input. Then， after using two convolutional neural networks that share weights to extract facial features respectively， L2 norm was introduced to constrain the facial features with different poses on a hypersphere with a fixed radius. Finally， the fully connected layer was used to map the difference between the features to the probability value in （0，1） to determine whether the group of images belonged to the same object. In order to verify the effectiveness of L2-Siamese， a test was conducted on the public dataset Pandora. Experimental results show that L2-Siamese has good overall performance. After the dataset was grouped according to the size of head pose interference， the test results show that the prediction accuracy of L2-Siamese is 4 percentage points higher than that of the state-of-the-art algorithm fully-convolutional Siamese network under the maximum head pose interference， illustrating that the accuracy of prediction has been significantly improved.

Key words: face verification, depth image, deep learning, Siamese network, neural network

中图分类号:

TP391.1

王奇, 雷航, 王旭鹏. 姿态干扰下的深度人脸验证[J]. 计算机应用, 2023, 43(2): 595-600.

Qi WANG, Hang LEI, Xupeng WANG. Deep face verification under pose interference[J]. Journal of Computer Applications, 2023, 43(2): 595-600.

图/表 12

图1 孪生网络结构

Fig.1 Structure of Siamese network

图2 卷积神经网络结构

Fig.2 Structure of convolutional neural network

图3 不同姿态下的深度头像

Fig. 3 Depth head images with different poses

表1 头部姿态与L2范数

Tab.1 Head pose and L2 norm

对象	第（1）组		第（2）组		第（3）组
对象	图像1	图像2	图像1	图像2	图像1	图像2
对象1	0.62	0.62	0.51	0.52	0.42	0.43
对象2	0.50	0.50	0.51	0.51	0.53	0.53
对象3	0.37	0.37	0.33	0.33	0.39	0.39

图4 头部特征映射示意图

Fig. 4 Schematic diagram of head feature mapping

图5 L2-Siamese整体结构

Fig. 5 Overall structure of L2-Siamese

表2 不同概率阈值对应的准确率

Tab. 2 Accuracy corresponding to different threshold value

概率阈值	准确率/%	概率阈值	准确率/%
0.1	73.33	0.6	89.15
0.2	79.68	0.7	83.11
0.3	83.36	0.8	78.07
0.4	86.74	0.9	76.56
0.5	88.43

表3 不同缩放参数α对应的准确率

Tab.3 Accuracy corresponding to different scaling parameters α

$α$	准确率/%	$α$	准确率/%
0.2	87.62	10.0	89.98
0.4	88.77	12.0	89.91
0.6	89.26	14.0	89.89
0.8	89.58	16.0	89.68
1.0	89.74	18.0	89.63
2.0	89.70	20.0	89.25
4.0	89.72	24.0	88.08
6.0	89.66	28.0	88.12
8.0	89.81	不采用超球约束特征	89.15

表3 不同缩放参数α对应的准确率

Tab.3 Accuracy corresponding to different scaling parameters α

$α$	准确率/%	$α$	准确率/%
0.2	87.62	10.0	89.98
0.4	88.77	12.0	89.91
0.6	89.26	14.0	89.89
0.8	89.58	16.0	89.68
1.0	89.74	18.0	89.63
2.0	89.70	20.0	89.25
4.0	89.72	24.0	88.08
6.0	89.66	28.0	88.12
8.0	89.81	不采用超球约束特征	89.15

图6 损失值及模型准确率变化曲线

Fig. 6 Curves of loss value and accuracy

表4 不同方法的人脸验证的实验结果在Pandora数据集上的比较

Tab. 4 Comparison of experimental results of different methods on Pandora dataset

方法	输入图像			模型		GPU：1080ti
方法	训练	测试	图像规格	模型参数/10⁶	准确率/%	速度/fps
JanusNet^［13］	RGB+Depth	Depth	$100 × 100$	4.8	81.4	202
Siamese^［3］	Depth	Depth	variable	1.8	85.3	604
L2⁃Siamese	Depth	Depth	$105 × 105$	56.0	89.9	148

表4 不同方法的人脸验证的实验结果在Pandora数据集上的比较

Tab. 4 Comparison of experimental results of different methods on Pandora dataset

方法	输入图像			模型		GPU：1080ti
方法	训练	测试	图像规格	模型参数/10⁶	准确率/%	速度/fps
JanusNet^［13］	RGB+Depth	Depth	$100 × 100$	4.8	81.4	202
Siamese^［3］	Depth	Depth	variable	1.8	85.3	604
L2⁃Siamese	Depth	Depth	$105 × 105$	56.0	89.9	148

图7 数据集分组示例

Fig. 7 Examples of dataset grouping

表5 按姿态划分Pandora数据集后不同方法的实验结果准确率对比

Tab.5 Accuracy comparison of experimental results of different methods after grouping Pandora dataset according to poses

训练集	测试集
	JanusNet^［13］				Siamese^［3］				L2-Siamese
	$A 1$	$A 2$	$A 3$	${A 1, A 2}$	$A 1$	$A 2$	$A 3$	${A 1, A 2}$	$A 1$	$A 2$	$A 3$	${A 1, A 2}$
$A 1$	0.80	0.66	0.62	0.69	0.86	0.75	0.71	0.77	0.90	0.83	0.78	0.82
$A 2$	0.83	0.79	0.77	0.80	0.87	0.84	0.81	0.85	0.90	0.88	0.87	0.89
$A 3$	0.50	0.50	0.50	0.50	0.75	0.70	0.67	0.71	0.82	0.78	0.73	0.75
${A 1, A 2}$	0.80	0.75	0.72	0.76	0.88	0.84	0.81	0.85	0.91	0.88	0.87	0.90

表5 按姿态划分Pandora数据集后不同方法的实验结果准确率对比

Tab.5 Accuracy comparison of experimental results of different methods after grouping Pandora dataset according to poses

训练集	测试集
	JanusNet^［13］				Siamese^［3］				L2-Siamese
	$A 1$	$A 2$	$A 3$	${A 1, A 2}$	$A 1$	$A 2$	$A 3$	${A 1, A 2}$	$A 1$	$A 2$	$A 3$	${A 1, A 2}$
$A 1$	0.80	0.66	0.62	0.69	0.86	0.75	0.71	0.77	0.90	0.83	0.78	0.82
$A 2$	0.83	0.79	0.77	0.80	0.87	0.84	0.81	0.85	0.90	0.88	0.87	0.89
$A 3$	0.50	0.50	0.50	0.50	0.75	0.70	0.67	0.71	0.82	0.78	0.73	0.75
${A 1, A 2}$	0.80	0.75	0.72	0.76	0.88	0.84	0.81	0.85	0.91	0.88	0.87	0.90

参考文献 18

1	WANG M， DENG W H. Deep face recognition： a survey［J］. Neurocomputing， 2021， 429： 215-244. 10.1016/j.neucom.2020.10.081
2	BORGHI G， FABBRI M， VEZZANI R， et al. Face-from-depth for head pose estimation on depth images［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（3）： 596-609. 10.1109/tpami.2018.2885472
3	BORGHI G， PINI S， VEZZANI R， et al. Driver face verification with depth maps［J］. Sensors， 2019， 19（15）： No.3361. 10.3390/s19153361
4	HUANG G B， RAMESH M， BERG T， et al. Labeled faces in the wild： a database for studying face recognition in unconstrained environments［EB/OL］. ［2021-10-13］.. 10.1117/12.2080393
5	SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 815-823. 10.1109/cvpr.2015.7298682
6	YANG J L， REN P R， ZHANG D Q， et al. Neural aggregation network for video face recognition［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5216-5225. 10.1109/cvpr.2017.554
7	CHEN J C， PATEL V M， CHELLAPPA R. Unconstrained face verification using deep CNN features［C］// Proceedings of the 2016 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2016： 1-9. 10.1109/wacv.2016.7477557
8	HUANG C， LI Y Y， LOY C C， et al. Deep imbalanced learning for face recognition and attribute prediction［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（11）：2781-2794. 10.1109/tpami.2019.2914680
9	JIAO Q F， LI R， CAO W M， et al. DDAT： dual domain adaptive translation for low-resolution face verification in the wild［J］. Pattern Recognition， 2021， 120： No.108107. 10.1016/j.patcog.2021.108107
10	BALLOTTA D， BORGHI G， VEZZANI R， et al. Fully convolutional network for head detection with depth images［C］// Proceedings of the 24th International Conference on Pattern Recognition. Piscataway： IEEE， 2018： 752-757. 10.1109/icpr.2018.8545332
11	BALLOTTA D， BORGHI G， VEZZANI R， et al. Head detection with depth images in the wild［C］// Proceedings of the 13th International Conference on Computer Vision， Imaging and Computer Graphics Theory and Applications - Volume 4 VISAPP. Setúbal： SciTePress， 2018： 56-63. 10.5220/0006541000560063
12	KIM D， HERNANDEZ M， CHOI J， et al. Deep 3D face identification［C］// Proceedings of the 2017 IEEE International Joint Conference on Biometrics. Piscataway： IEEE， 2017： 133-142. 10.1109/btas.2017.8272691
13	BORGHI G， PINI S， GRAZIOLI F， et al. Face verification from depth using privileged information［C］// Proceedings of the 2018 British Machine Vision Conference. Durham： BMVA Press， 2018： No.192.
14	BROMLEY J， GUYON I， LeCUN Y， et al. Signature verification using a “Siamese” time delay neural network［C］// Proceedings of the 6th International Conference on Neural Information Processing Systems. San Francisco： Morgan Kaufmann Publishers Inc.， 1993： 737-744. 10.1142/9789812797926_0003
15	KOCH G， ZEMEL R， SALAKHUTDINOV R. Siamese neural networks for one-shot image recognition［EB/OL］. ［2021-11-07］..
16	RANJAN R， CASTILLO C D， CHELLAPPA R. L₂-constrained softmax loss for discriminative face verification［EB/OL］. 2017-06-07］［2021-11-07］..
17	BORGHI G， VENTURELLI M， VEZZANI R， et al. POSEidon： face-from-depth for driver pose estimation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5494-5503. 10.1109/cvpr.2017.583
18	VENTURELLI M， BORGHI G， VEZZANI R， et al. From depth data to head pose estimation： a Siamese approach［EB/OL］.（2017-03-10）［2021-19-20］./ . 10.5220/0006104501940201

[1]	沈万里, 张玉金, 胡万. 面向图像修复取证的U型特征金字塔网络[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 545-551.
[2]	王若莹, 吕凡, 赵柳清, 胡伏原. 融合用户需求和边界约束的平面图生成算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 575-582.
[3]	倪苒岩, 张轶. 基于视频时空特征的行为识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 521-528.
[4]	朱利安, 张鸿. 基于双分支条件生成对抗网络的非均匀图像去雾[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 567-574.
[5]	王萍, 陈楠, 鲁磊. 基于场景先验及注意力引导的跌倒检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 529-535.
[6]	汪洋, 傅洪亮, 陶华伟, 杨静, 谢跃, 赵力. 基于决策边界优化域自适应的跨库语音情感识别[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 374-379.
[7]	贾晴, 王来花, 王伟胜. 基于独立循环神经网络与变分自编码网络的视频帧异常检测[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 507-513.
[8]	王佑芯, 陈斌. 基于深度对比网络的印刷缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 250-258.
[9]	林洋平, 刘佳, 陈培, 张明书, 杨晓元. 基于深度卷积生成对抗网络的半生成式视频隐写方案[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 169-175.
[10]	于海涛, 李健升, 刘亚姣, 李福龙, 王江, 张春晖, 于利峰. 基于级联神经网络的型钢表面缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 232-241.
[11]	林荐壮, 杨文忠, 谭思翔, 周乐鑫, 陈丹妮. 融合滤波增强和反转注意力网络用于息肉分割[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 265-272.
[12]	张军, 吴朋莉, 石陆魁, 史进, 潘斌. 联合MOD11A1和地面气象站点数据的多站点温度预测深度学习模型[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 321-328.
[13]	刘小宇, 陈怀新, 刘壁源, 林英, 马腾. 自适应置信度阈值的非限制场景车牌检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 67-73.
[14]	高媛媛, 余振华, 杜方, 宋丽娟. 基于贝叶斯优化的无标签网络剪枝算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 30-36.
[15]	郭克友, 李雪, 杨民. 基于轻量化YOLOv4的交通信息实时检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 74-80.

姿态干扰下的深度人脸验证

Deep face verification under pose interference

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 18

相关文章 15

编辑推荐

Metrics