基于历史模型更新的自适应防御机制FedAud

doi:10.11772/j.issn.1001-9081.2024030300

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (2): 490-496.DOI: 10.11772/j.issn.1001-9081.2024030300

• 网络空间安全 • 上一篇

基于历史模型更新的自适应防御机制FedAud

任志强¹^,²^,³, 陈学斌¹^,²^,³()

^1.华北理工大学理学院，河北唐山 063210
^2.河北省数据科学与应用重点实验室（华北理工大学），河北唐山 063010
^3.唐山市数据科学重点实验室（华北理工大学），河北唐山 063210

收稿日期:2024-03-20 修回日期:2024-05-31 接受日期:2024-06-04 发布日期:2024-07-31 出版日期:2025-02-10
通讯作者: 陈学斌
作者简介:任志强（2000—），男，四川广元人，硕士研究生，CCF会员，主要研究方向：数据安全、隐私保护；
基金资助:
国家自然科学基金资助项目(U20A20179)

FedAud： adaptive defense mechanism based on historical model updates

Zhiqiang REN¹^,²^,³, Xuebin CHEN¹^,²^,³()

^1.College of Science，North China University of Science and Technology，Tangshan Hebei 063210，China
^2.Hebei Key Laboratory of Data Science and Application （North China University of Science and Technology），Tangshan Hebei 063010，China
^3.Tangshan Key Laboratory of Data Science （North China University of Science and Technology），Tangshan Hebei 063210，China

Received:2024-03-20 Revised:2024-05-31 Accepted:2024-06-04 Online:2024-07-31 Published:2025-02-10
Contact: Xuebin CHEN
About author:REN Zhiqiang， born in 2000， M. S. candidate. His research interests include data security， privacy protection.
Supported by:
National Natural Science Foundation of China(U20A20179)

摘要/Abstract

摘要：

联邦学习（FL）已成为一种在分散的边缘设备上训练机器学习模型并保护数据隐私的有前景的方法。然而，FL系统容易受到拜占庭攻击的影响，即恶意客户端可能会破坏全局模型的完整性。此外，现有的部分防御方法存在较大的计算开销。针对上述问题，提出一种自适应防御机制FedAud，该机制旨在减小服务端的计算开销，同时确保FL系统对拜占庭攻击的鲁棒性。FedAud结合异常检测模块和信誉机制，并基于历史模型更新动态调整防御策略。使用MNIST和CIFAR-10数据集在不同的攻击场景和防御方法下进行评估的实验结果表明，FedAud能有效降低防御方法的执行频率，从而减轻服务器的计算负担，并提高FL的效率，特别是在防御方法计算开销大或训练周期较长的情况下。此外，FedAud能保持模型的准确性，并在某些情况下提升模型的性能，验证了它在实际FL部署中的有效性。

关键词: 联邦学习, 拜占庭攻击, 异常检测, 计算开销, 通信效率

Abstract:

Federated Learning （FL） has emerged as a promising method for training machine learning models on decentralized edge devices while protecting data privacy. However， FL systems are susceptible to Byzantine attacks， which means that a malicious client compromises the integrity of the global model. Moreover， some existing defense methods have large computational overheads. To address the above problems， an adaptive defense mechanism， namely FedAud， was proposed， which aims to reduce computational overhead of the server while ensuring robustness of the FL system against Byzantine attacks. An anomaly detection module and a reputation mechanism were integrated by FedAud to adjust the defense strategy dynamically based on historical model updates. Experimental results of FedAud evaluated using MNIST and CIFAR-10 datasets under various attack scenarios and defense methods demonstrate that FedAud reduces the execution frequency of defense methods effectively， thereby alleviating the computational burden of the server and enhancing FL efficiency， particularly in scenarios of defense methods with high computational overheads or long training cycles. Furthermore， FedAud maintains model accuracy and even improves model performance in certain cases， verifying its effectiveness in real FL deployments.

Key words: federated learning, Byzantine attack, anomaly detection, computational overhead, communication efficiency

中图分类号:

TP309.2

任志强, 陈学斌. 基于历史模型更新的自适应防御机制FedAud[J]. 计算机应用, 2025, 45(2): 490-496.

Zhiqiang REN, Xuebin CHEN. FedAud： adaptive defense mechanism based on historical model updates[J]. Journal of Computer Applications, 2025, 45(2): 490-496.

图/表 10

图1 采用FedAud后的服务端执行流程

Fig. 1 Flow of server execution after adopting FedAud

图2 IID情况下，实施不同攻击时的客户端偏移值

Fig. 2 Client offset values for implementation of different attacks in case of IID

图3 No-IID情况下，实施不同攻击时的客户端偏移值

Fig. 3 Client offset values for implementation of different attacks in case of No-IID

表1 结合FedAud的防御方法在不同场景下获得的模型准确率（后20轮的平均值） (%)

Tab. 1 Model accuracies obtained by defense methods combining FedAud in different scenarios （average of the last 20 rounds）

攻击行为	防御方法	IID				No-IID
攻击行为	防御方法	MN	LF	SF	ALIE	MN	LF	SF	ALIE
间断攻击	Krum+FedAud	87.27	87.07	87.16	86.78	82.51	82.21	82.33	81.34
间断攻击	ClipedC+FedAud	87.13	86.58	86.06	87.03	82.55	83.01	82.68	83.08
连续攻击	Krum+FedAud	85.95	86.92	86.82	86.58	83.33	81.85	83.08	81.20
连续攻击	ClipedC+FedAud	86.62	86.76	85.17	86.82	83.65	82.45	67.83	83.36

表2 结合FedAud的防御方法在不同场景下的执行次数

Tab. 2 Number of execution times defense methods combining FedAud in different scenarios

攻击行为	防御方法	IID				No-IID
攻击行为	防御方法	MN	LF	SF	ALIE	MN	LF	SF	ALIE
间断攻击	Krum+FedAud	35	41	36	52	118	123	115	121
间断攻击	ClipedC+FedAud	123	25	122	19	103	104	119	117
连续攻击	Krum+FedAud	9	11	14	41	55	89	68	109
连续攻击	ClipedC+FedAud	64	13	130	21	130	95	130	115

表3 不同防御方法在不同场景下获得的模型准确率（后20轮的平均值） (%)

Tab. 3 Model accuracies obtained by different defense methods in different scenarios （average of the last 20 rounds）

数据集	方法	IID				No-IID
数据集	方法	MN	LF	SF	ALIE	MN	LF	SF	ALIE
MNIST	Krum	87.00	86.86	87.00	86.26	81.17	80.95	81.51	79.29
	Krum+FedAud	87.27	87.07	87.16	86.78	82.51	82.21	82.33	83.08
	ClipedC	86.81	86.34	86.13	86.51	82.58	83.01	81.16	83.00
	ClipedC+FedAud	87.13	86.58	86.06	87.03	82.55	83.01	82.68	83.08
CIFAR	Krum	66.94	66.14	66.90	64.31	58.49	56.15	59.55	54.63
	Krum+FedAud	67.18	66.60	67.07	66.45	63.48	58.17	63.53	59.46
	ClipedC	66.11	66.21	66.22	66.47	57.57	60.41	62.19	60.09
	ClipedC+FedAud	67.16	66.31	67.35	67.03	64.08	63.34	62.92	63.45

表4 不同防御方法在结合FedAud后的执行次数

Tab. 4 Number of execution times of different defense methods after combined FedAud

数据集	方法	IID				No-IID
数据集	方法	MN	LF	SF	ALIE	MN	LF	SF	ALIE
MNIST	Krum+FedAud	35	41	36	52	118	123	115	121
MNIST	ClipedC+FedAud	123	25	122	19	103	104	119	117
CIFAR	Krum+FedAud	109	98	76	65	77	124	110	154
CIFAR	ClipedC+FedAud	77	27	146	98	176	280	296	177

图4 结合FedAud前后，Krum全局模型准确率的变化

Fig. 4 Change in global model accuracy before and after combining FedAud（Krum）

图5 结合FedAud前后，ClipedC全局模型准确率的变化

Fig. 5 Change in global model accuracy before and after combining FedAud（ClipedC）

表5 Krum、ClipedC和FedAud的执行10轮所耗费的时间 (s)

Tab. 5 Time taken to execute 10 rounds of Krum， ClipedC and FedAud

客户端数	Krum	ClipedC	FedAud
100	1.48	31.54	1.38
300	5.47	271.00	4.20
500	10.83	752.29	7.08

参考文献 30

1	ZHANG C， XIE Y， BAI H， et al. A survey on federated learning［J］. Knowledge-Based Systems， 2021， 216： No.106775.
2	McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.
3	SUN G， CONG Y， DONG J， et al. Data poisoning attacks on federated machine learning［J］. IEEE Internet of Things Journal， 2022， 9（13）： 11365-11375.
4	TOLPEGIN V， TRUEX S， GURSOY M E， et al. Data poisoning attacks against federated learning systems［C］// Proceedings of the 2020 European Symposium on Research in Computer Security， LNCS 12308. Cham： Springer， 2020： 480-501.
5	ZHANG J， CHEN J， WU D， et al. Poisoning attack in federated learning using generative adversarial nets［C］// Proceedings of the 18th IEEE International Conference on Trust， Security and Privacy in Computing and Communications/ 13th IEEE International Conference on Big Data Science and Engineering. Piscataway： IEEE， 2019： 374-380.
6	FANG M， CAO X， JIA J， et al. Local model poisoning attacks to Byzantine-robust federated learning［C］// Proceedings of the 29th USENIX Security Symposium. Berkeley： USENIX Association， 2020： 1623-1640.
7	SHEJWALKAR V， HOUMANSADR A. Manipulating the byzantine： optimizing model poisoning attacks and defenses for federated learning［C］// Proceedings of the 2021 Network and Distributed System Security Symposium. Reston， VA： Internet Society， 2021： 1-19.
8	MUÑOZ-GONZÁLEZ L， CO K T， LUPU E C. Byzantine-robust federated machine learning through adaptive model averaging［EB/OL］. ［2024-05-28］..
9	CAO X， GONG N Z. MPAF： model poisoning attacks to federated learning based on fake clients［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 3395-3403.
10	SUN Z， KAIROUZ P， SURESH A T， et al. Can you really backdoor federated learning？［EB/OL］. ［2024-05-28］..
11	BAGDASARYAN E， VEIT A， HUA Y， et al. How to backdoor federated learning［C］// Proceedings of the 23rd International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2020： 2938-2948.
12	WANG H， SREENIVASAN K， RAJPUT S， et al. Attack of the tails： yes， you really can backdoor federated learning［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020： 16070-16084.
13	LI S， NGAI E C H， VOIGT T. An experimental study of byzantine-robust aggregation schemes in federated learning［J］. IEEE Transactions on Big Data， 2024， 10（6）： 975-988.
14	LI S， NGAI E C H， YE F， et al. Blades： a unified benchmark suite for byzantine attacks and defenses in federated learning［C］// Proceedings of the 9th ACM/IEEE International Conference on Internet-of-Things Design and Implementation. Piscataway： IEEE， 2024： 158-169.
15	陈学斌，任志强，张宏扬. 联邦学习中的安全威胁与防御措施综述［J］. 计算机应用， 2024， 44（6）： 1663-1672.
	CHEN X B， REN Z Q， ZHANG H Y. Review on security threats and defense measures in federated learning［J］. Journal of Computer Applications， 2024， 44（6）： 1663-1672.
16	BLANCHARD P， MHAMDI E M EL， GUERRAOUI R， et al. Machine learning with adversaries： Byzantine tolerant gradient descent［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 118-128.
17	YIN D， CHEN Y， KANNAN R， et al. Byzantine-robust distributed learning： towards optimal statistical rates［C］// Proceedings of the 35th International Conference on Machine Learning. New York： JMLR.org， 2018： 5650-5659.
18	AWAN S， LUO B， LI F. CONTRA： defending against poisoning attacks in federated learning［C］// Proceedings of the 2021 European Symposium on Research in Computer Security， LNCS 12972. Cham： Springer， 2021： 455-475.
19	LI D， WONG W E， WANG W， et al. Detection and mitigation of label-flipping attacks in federated learning systems with KPCA and K-means［C］// Proceedings of the 8th International Conference on Dependable Systems and Their Applications. Piscataway： IEEE， 2021： 551-559.
20	张仁斌，崔宇航，张子石. 基于β-VAE的联邦学习异常更新检测算法［J］. 计算机应用研究， 2024， 41（8）： 2496-2501.
	ZHANG R B， CUI Y H， ZHANG Z S. Algorithm for detecting malicious model updates of federated learning based on β-VAE［J］. Application Research of Computers， 2024， 41（8）： 2496-2501.
21	KAIROUZ P， McMAHAN H B， AVENT B， et al. Advances and open problems in federated learning［J］. Foundations and Trends® in Machine Learning， 2021， 14（1/2）： 1-210.
22	LI S， NGAI E， VOIGT T. Byzantine-robust aggregation in federated learning empowered industrial IoT［J］. IEEE Transactions on Industrial Informatics， 2023， 19（2）： 1165-1175.
23	LI L， XU W， CHEN T， et al. RSA： Byzantine-robust stochastic aggregation methods for distributed learning from heterogeneous datasets［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2019： 1544-1551.
24	BARUCH M， BARUCH G， GOLDBERG Y. A little is enough： circumventing defenses for distributed learning［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 8635-8645.
25	SATTLER F， MÜLLER K R， WIEGAND T， et al. On the Byzantine robustness of clustered federated learning［C］// Proceedings of the 2020 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2020： 8861-8865.
26	HAZAN E. Introduction to online convex optimization［J］. Foundations and Trends® in Optimization， 2016， 2（3/4）： 157-325.
27	LEYS C， LEY C， KLEIN O， et al. Detecting outliers： do not use standard deviation around the mean， use absolute deviation around the median［J］. Journal of Experimental Social Psychology， 2013， 49（4）： 764-766.
28	XIAO H， RASUL K， VOLLGRAF R. Fashion-MNIST： a novel image dataset for benchmarking machine learning algorithms［EB/OL］. ［2024-05-28］..
29	KRIZHEVSKY A. Learning multiple layers of features from tiny images［R/OL］. ［2023-12-02］..
30	HSU T M H， QI H， BROWN M. Measuring the effects of non-identical data distribution for federated visual classification［EB/OL］. ［2024-05-28］..

[1]	邓淼磊, 阚雨培, 孙川川, 徐海航, 樊少珺, 周鑫. 基于深度学习的网络入侵检测系统综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 453-466.
[2]	徐超, 张淑芬, 陈海田, 彭璐璐, 张帅华. 基于自适应差分隐私与客户选择优化的联邦学习方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 482-489.
[3]	朱亮, 慕京哲, 左洪强, 谷晶中, 朱付保. 基于联邦图神经网络的位置隐私保护推荐方案[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 136-143.
[4]	晏燕, 钱星颖, 闫鹏斌, 杨杰. 位置大数据的联邦学习统计预测与差分隐私保护方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 127-135.
[5]	宋鹏程, 郭立君, 张荣. 利用局部-全局时间依赖的弱监督视频异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 240-246.
[6]	张淑芬, 张宏扬, 任志强, 陈学斌. 联邦学习的公平性综述[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 1-14.
[7]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[8]	沈哲远, 杨珂珂, 李京. 基于双流神经网络的个性化联邦学习方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2319-2325.
[9]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[10]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[11]	陈学斌, 任志强, 张宏扬. 联邦学习中的安全威胁与防御措施综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1663-1672.
[12]	罗玮, 刘金全, 张铮. 融合秘密分享技术的双重纵向联邦学习框架[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1872-1879.
[13]	林欣蕊, 王晓菲, 朱焱. 基于局部扩展社区发现的学术异常引用群体检测[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1855-1861.
[14]	孟凡, 杨群力, 霍静, 王新宽. 基于边缘异常候选集的迭代式主动多元时序异常检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1458-1463.
[15]	朱子蒙, 李志新, 郇战, 陈瑛, 梁久祯. 基于三元中心引导的弱监督视频异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1452-1457.

基于历史模型更新的自适应防御机制FedAud

FedAud： adaptive defense mechanism based on historical model updates

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 30

相关文章 15

编辑推荐

Metrics