基于三分支特征提取的人脸伪造检测方法

doi:10.11772/j.issn.1001-9081.2025040461

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (4): 1292-1299.DOI: 10.11772/j.issn.1001-9081.2025040461

• 多媒体计算与计算机仿真 • 上一篇

基于三分支特征提取的人脸伪造检测方法

许盛伟, 王健波(), 韩季杰, 白怡婕

北京电子科技学院，北京 100070

收稿日期:2025-04-27 修回日期:2025-07-30 接受日期:2025-08-04 发布日期:2025-08-15 出版日期:2026-04-10
通讯作者: 王健波
作者简介:许盛伟（1976—），男，江西吉安人，教授，博士，主要研究方向：大数据安全、人工智能与密码应用
韩季杰（2001—），男，江西上饶人，硕士研究生，主要研究方向：网络流量分类、密码应用、大数据安全
白怡婕（2001—），女，山西临汾人，硕士研究生，主要研究方向：密码安全分析、密码应用和评估。
基金资助:
国家重点研发计划项目(2022YFB3104402)

Face forgery detection method based on tri-branch feature extraction

Shengwei XU, Jianbo WANG(), Jijie HAN, Yijie BAI

Beijing Electronic Science and Technology Institute，Beijing 100070，China

Received:2025-04-27 Revised:2025-07-30 Accepted:2025-08-04 Online:2025-08-15 Published:2026-04-10
Contact: Jianbo WANG
About author:XU Shengwei， born in 1976， Ph. D.， professor. His research interests include big data security， AI-driven cryptographic applications.
HAN Jijie， born in 2001， M. S. candidate. His research interests include network traffic classification， cryptographic applications， big data security.
BAI Yijie， born in 2001， M. S. candidate. Her research interests include cryptographic security analysis， cryptographic applications and evaluation.
Supported by:
National Key Research and Development Program of China(2022YFB3104402)

摘要/Abstract

摘要：

针对现有检测方法在应对多样化伪造方式和低质量图像时存在的特征表达不足、鲁棒性差和跨域泛化能力弱等问题，提出一种基于三分支特征提取的人脸伪造检测方法Tri-BranchNet（Tri-Branch feature extraction Network），以实现多类型特征的互补与融合，并提升伪造痕迹的表征能力和模型的检测性能。具体架构为：1）利用ViT（Vision Transformer）捕获全局语义表征；2）引入可逆神经网络（INN）增强局部纹理特征的建模能力；3）设计边缘特征提取分支解决传统模型对边界伪造区域特征提取不足的问题。在多个公开数据集上的实验结果表明，所提方法在FaceForensics++（C23）数据集上的准确率达98.75%，相较于F³-Net（Frequency in Face Forgery Network）和CORE（COnsistent REpresentation learning）分别提升了1.26%和1.17%；在跨压缩率与跨数据集测试中，所提方法的曲线下面积（AUC）值分别达到85.26%（C40）和81.09%（Celeb-DF），显示出良好的鲁棒性与泛化性能。可见，所提三分支融合机制在复杂伪造场景下能显著提升检测准确率，为伪造图像的多维度特征建模提供了一种新思路。

关键词: 人脸伪造检测, 多分支网络, Vision Transformer, 可逆神经网络, 边缘特征

Abstract:

To address the problems of insufficient feature representation， poor robustness， and weak cross-domain generalization in handling diverse forgery types and low-quality images， a face forgery detection method based on tri-branch feature extraction， Tri-BranchNet （Tri-Branch feature extraction Network）， was proposed to achieve the complementarity and integration of multiple types of features， and enhance forgery trace representation and model’s detection performance. The architecture was designed as： 1）global semantic representation were captured by using Vision Transformer （ViT）； 2）local texture feature modeling ability was improved by introducing Invertible Neural Network （INN）； 3）an edge feature extraction branch was designed to solve the problem that traditional models inadequately extracted features from boundary forgery regions. Experimental results on multiple public datasets show that the proposed method achieves 98.75% accuracy on FaceForensics++ （C23） dataset， outperforming F³-Net （Frequency in Face Forgery Network） and CORE （COnsistent REpresentation learning） by 1.26% and 1.17%， respectively. In cross-compression and cross-dataset tests， the proposed method has the Area Under Curve （AUC） scores reached 85.26% and 81.09% on C40 and Celeb-DF， respectively， demonstrating strong robustness and generalization. It can be seen that the proposed tri-branch fusion mechanism enhances detection accuracy in complex forgery environments significantly and provides a novel idea for multi-dimensional feature modeling of forgery images.

Key words: face forgery detection, multi-branch network, Vision Transformer (ViT), Invertible Neural Network (INN), edge feature

中图分类号:

TP391.4

许盛伟, 王健波, 韩季杰, 白怡婕. 基于三分支特征提取的人脸伪造检测方法[J]. 计算机应用, 2026, 46(4): 1292-1299.

Shengwei XU, Jianbo WANG, Jijie HAN, Yijie BAI. Face forgery detection method based on tri-branch feature extraction[J]. Journal of Computer Applications, 2026, 46(4): 1292-1299.

图/表 10

参考文献 37

[1]	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems — Volume 2. Cambridge： MIT Press， 2014： 2672-2680.
[2]	YU P， FEI J， XIA Z， et al. Improving generalization by commonality learning in face forgery detection［J］. IEEE Transactions on Information Forensics and Security， 2022， 17： 547-558.
[3]	AMERINI I， GALTERI L， CALDELLI R， et al. Deepfake video detection through optical flow based CNN［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision Workshops. Piscataway： IEEE， 2019： 1205-1207.
[4]	SANDOTRA N， ARORA B. A comprehensive evaluation of feature-based AI techniques for deepfake detection［J］. Neural Computing and Applications， 2024， 36（8）： 3859-3887.
[5]	PEI G， ZHANG J， HU M， et al. Deepfake generation and detection： a benchmark and survey［EB/OL］. ［2025-07-30］..
[6]	董佳乐，邓正杰，张宝，等. 基于人脸关键区域的深度伪造视频检测方法［J］. 计算机技术与发展， 2025， 35（1）： 73-80.
	DONG J L， DENG Z J， ZHANG B， et al. A deepfake video detection method based on facial key regions［J］. Computer Technology and Development， 2025， 35（1）： 73-80.
[7]	MASI I， KILLEKAR A， MASCARENHAS R M， et al. Two-branch recurrent network for isolating deepfakes in videos［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12352. Cham： Springer， 2020： 667-684.
[8]	ZHANG W， ZHAO C， LI Y. A novel counterfeit feature extraction technique for exposing face-swap images based on deep learning and error level analysis［J］. Entropy， 2020， 22（2）： No.249.
[9]	ZHAO Z， BAI H， ZHANG J， et al. CDDFUSE： correlation-driven dual-branch feature decomposition for multi‑modality image fusion［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 5906-5916.
[10]	GUARNERA L， GIUDICE O， BATTIATO S. DeepFake detection by analyzing convolutional traces［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2020： 2841-2850.
[11]	TOLOSANA R， VERA-RODRIGUEZ R， FIERREZ J， et al. Deepfakes and beyond： a survey of face manipulation and fake detection［J］. Information Fusion， 2020， 64： 131-148.
[12]	ARDIZZONE L， KRUSE J， WIRKERT S， et al. Analyzing inverse problems with invertible neural networks［EB/OL］. ［2025‑07‑30］..
[13]	CHOLLET F. Xception： deep learning with depthwise separable convolutions［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807.
[14]	LI Y， CHANG M C， LYU S. In Ictu Oculi： exposing AI created fake videos by detecting eye blinking［C］// Proceedings of the 2018 IEEE International Workshop on Information Forensics and Security. Piscataway： IEEE， 2018： 1-7.
[15]	CIFTCI U A， DEMIR I， YIN L. FakeCatcher： detection of synthetic portrait videos using biological signals［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020（Early Access）： 1-1.
[16]	YANG X， LI Y， LYU S. Exposing deep fakes using inconsistent head poses［C］// Proceedings of the 2019 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2019： 8261-8265.
[17]	NGUYEN H H， YAMAGISHI J， ECHIZEN I. Capsule-Forensics： using capsule networks to detect forged images and videos［C］// Proceedings of the 2019 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2019： 2307-2311.
[18]	KOHLI A， GUPTA A. Detecting DeepFake， FaceSwap and Face2Face facial forgeries using frequency CNN［J］. Multimedia Tools and Applications， 2021， 80（12）： 18461-18478.
[19]	许楷文，周翊超，谷文权，等. 基于多尺度特征融合重建学习的深度伪造人脸检测算法［J］. 信息网络安全， 2024， 24（8）： 1173-1183.
	XU K W， ZHOU Y C， GU W Q， et al. Multi-scale feature fusion deepfake detection algorithm based on reconstruction learning［J］. Netinfo Security， 2024， 24（8）： 1173-1183.
[20]	李颖，边山，王春桃，等. CNN结合Transformer的深度伪造高效检测［J］. 中国图象图形学报， 2023， 28（3）： 804-819.
	LI Y， BIAN S， WANG C T， et al. CNN and Transformer-coordinated deepfake detection［J］. Journal of Image and Graphics， 2023， 28（3）： 804-819.
[21]	WANG F， CHEN Q， JING B， et al. Deepfake detection based on the adaptive fusion of spatial‑frequency features［J］. International Journal of Intelligent Systems， 2024， 2024： No.7578036.
[22]	ZHANG D， CHEN J， LIAO X， et al. Face forgery detection via multi-feature fusion and local enhancement［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2024， 34（9）： 8972-8977.
[23]	THAKUR R， ROHILLA R. Recent advances in digital image manipulation detection techniques： a brief review［J］. Forensic Science International， 2020， 312： No.110311.
[24]	杨睿，胡心如，黄卓超，等. 深度网络生成式伪造人脸检测方法研究综述［J］. 计算机辅助设计与图形学学报， 2024， 36（10）： 1491-1510.
	YANG R， HU X R， HUANG Z C， et al. Review of deep network generative fake face detection methods［J］. Journal of Computer-Aided Design and Computer Graphics， 2024， 36（10）： 1491-1510.
[25]	RÖSSLER A， COZZOLINO D， VERDOLIVA L， et al. FaceForensics++： learning to detect manipulated facial images［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1-11.
[26]	LI Y， YANG X， SUN P， et al. Celeb‑DF： a large‑scale challenging dataset for deepfake forensics［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision. Piscataway： IEEE， 2020： 3204-3213.
[27]	DOLHANSKY B， BITTON J， PFLAUM B， et al. The DeepFake Detection Challenge （DFDC） dataset［EB/OL］. ［2025‑07‑30］..
[28]	DENG J， GUO J， VERVERAS E， et al. RetinaFace： single‑shot multi‑level face localisation in the wild［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 5202-5211.
[29]	AFCHAR D， NOZICK V， YAMAGISHI J， et al. MesoNet： a compact facial video forgery detection network［C］// Proceedings of the 2018 IEEE International Workshop on Information Forensics and Security. Piscataway： IEEE， 2018： 1-7.
[30]	QIAN Y， YIN G， SHENG L， et al. Thinking in frequency： face forgery detection by mining frequency-aware clues［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12357. Cham： Springer， 2020： 86-103.
[31]	ZHAO H， WEI T， ZHOU W， et al. Multi-attentional deepfake detection［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 2185-2194.
[32]	NI Y， MENG D， YU C， et al. CORE： consistent representation learning for face forgery detection［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2022： 12-21.
[33]	ZHOU K， SUN G， WANG J， et al. MH-FFNet： leveraging mid-high frequency information for robust fine-grained face forgery detection［J］. Expert Systems with Applications， 2025， 276： No.127108.
[34]	LI Y， LYU S. Exposing deepfake videos by detecting face warping artifacts［EB/OL］. ［2025‑07‑30］..
[35]	LI L， BAO J， ZHANG T， et al. Face‑X‑ray for more general face forgery detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision. Piscataway： IEEE， 2020： 5000-5009.
[36]	TAN L， WANG Y， WANG J， et al. Deepfake video detection via facial action dependencies estimation［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2023： 5276-5284.
[37]	DASGUPTA S， MASON J， YUAN X， et al. Enhancing deepfake detection using SE block attention with CNN［C］// Proceedings of the 7th International Conference on Artificial Intelligence， Big Data， Computing and Data Communication Systems. Piscataway： IEEE， 2024： 1-6.

方法	主干网络	C23（HQ）		C40（LQ）
方法	主干网络	Acc	AUC	Acc	AUC
Xception^［13］	Xception	95.73	—	86.86	—
MesoNet^［29］	MesoNet	83.10	—	70.47	—
Two-branchRN^［7］	Two-branchRN	96.43	88.70	86.34	86.59
F³-Net^［30］	Xception	97.52	98.10	90.43	93.30
Multi-attentional^［31］	EfficientNet-b4	97.60	99.29	88.69	90.40
CORE^［32］	Xception	97.61	99.66	87.99	90.61
MH-FFNet^［33］	multi-frequency CNN	97.37	99.44	85.90	87.44
本文方法	Tri-BranchNet	98.75	99.98	90.56	92.21

方法	主干网络	C23（HQ）		C40（LQ）
方法	主干网络	Acc	AUC	Acc	AUC
Xception^［13］	Xception	95.73	—	86.86	—
MesoNet^［29］	MesoNet	83.10	—	70.47	—
Two-branchRN^［7］	Two-branchRN	96.43	88.70	86.34	86.59
F³-Net^［30］	Xception	97.52	98.10	90.43	93.30
Multi-attentional^［31］	EfficientNet-b4	97.60	99.29	88.69	90.40
CORE^［32］	Xception	97.61	99.66	87.99	90.61
MH-FFNet^［33］	multi-frequency CNN	97.37	99.44	85.90	87.44
本文方法	Tri-BranchNet	98.75	99.98	90.56	92.21

方法	主干网络	参数量/10⁶	GFLOPs
Xception^［13］	Xception	22.97	18.62
MesoNet^［29］	MesoNet	33.21	19.06
Two-branch RN^［7］	Two-branchRN	—	—
F³-Net^［30］	Xception	27.56	20.33
Multi-attentional^［31］	EfficientNet-b4	31.26	19.85
CORE^［32］	Xception	29.05	23.46
MH-FFNet^［33］	multi-frequency CNN	—	—
本文方法	Tri-BranchNet	161.57	21.12

方法	主干网络	参数量/10⁶	GFLOPs
Xception^［13］	Xception	22.97	18.62
MesoNet^［29］	MesoNet	33.21	19.06
Two-branch RN^［7］	Two-branchRN	—	—
F³-Net^［30］	Xception	27.56	20.33
Multi-attentional^［31］	EfficientNet-b4	31.26	19.85
CORE^［32］	Xception	29.05	23.46
MH-FFNet^［33］	multi-frequency CNN	—	—
本文方法	Tri-BranchNet	161.57	21.12

方法	不同测试集上的AUC
方法	Celeb-DF	DFDC
Xception^［13］	65.23	72.20
F³-Net^［30］	68.69	67.45
face X-ray^［35］	74.46	71.15
Two-branchRN^［7］	73.41	71.06
CORE^［32］	79.40	75.46
本文方法	81.09	73.28

基于三分支特征提取的人脸伪造检测方法

Face forgery detection method based on tri-branch feature extraction

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 37

相关文章 12

编辑推荐

Metrics

方法	Acc	AUC	方法	Acc	AUC
Xception^［13］	—	70.87	FADE^［36］	—	83.33
FWA^［34］	—	62.00	本文方法	83.72	85.26
face X-ray^［35］	—	72.80

ViT	INN	边缘	Acc	AUC
√			77.94	86.13
	√		64.27	55.38
		√	45.11	49.59
√	√		96.35	97.64
√		√	94.26	96.51
	√	√	81.44	89.83
√	√	√	98.75	99.98

策略	Acc	AUC
ViT+INN+边缘	97.21	98.96
SE^［37］（INN+边缘+ViT）	98.55	99.96
（INN+边缘）+ViT	98.75	99.98

[1]	姜勇维, 陈晓清, 付麟杰. 基于频谱分解的高频保持医学图像弹性配准模型[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 924-932.
[2]	徐千惠, 钮可, 朱顺哲, 石林, 李军. 增强型可逆神经网络视频隐写网络GAB3D-SEVSN[J]. 《计算机应用》唯一官方网站, 2026, 46(2): 467-474.
[3]	姜坤元, 李小霞, 王利, 曹耀丹, 张晓强, 丁楠, 周颖玥. 引入解耦残差自注意力的边界交叉监督语义分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1120-1129.
[4]	周雯, 谌雨章, 温志远, 王诗琦. 基于位置编码重叠切块嵌入和多尺度通道交互注意力的鱼类图像分类[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3209-3216.
[5]	许喆, 王志宏, 单存宇, 孙亚茹, 杨莹. 基于重构误差的无监督人脸伪造视频检测[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1571-1577.
[6]	秦强强, 廖俊国, 周弋荀. 基于多分支混合注意力的小目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3579-3586.
[7]	韩艳茹, 尹梦晓, 覃子轩, 苏鹏, 杨锋. 图像和视频的低多边形渲染[J]. 计算机应用, 2021, 41(2): 504-510.
[8]	张一飞, 李新福, 田学东. 基于图像分割的立体匹配算法[J]. 计算机应用, 2020, 40(5): 1415-1420.
[9]	杨健李若楠黄晨阳王刚丁闯. 基于局部显著边缘特征的快速图像配准算法[J]. 计算机应用, 2014, 34(1): 149-153.
[10]	刘付民张治斌. 基于色彩和边缘特征的图像检索方法[J]. 计算机应用, 2012, 32(05): 1280-1282.
[11]	曾宇燕何建农. 基于小波包和边缘特征的遥感图像融合算法[J]. 计算机应用, 2011, 31(10): 2742-2744.
[12]	陈永萍朱庆生葛垚. 结合变步长的两阶段视频镜头边界检测方法[J]. 计算机应用, 2008, 28(6): 1501-1503.