基于本地漂移和多样性算力的联邦学习优化算法

doi:10.11772/j.issn.1001-9081.2024070928

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (5): 1447-1454.DOI: 10.11772/j.issn.1001-9081.2024070928

• 人工智能 • 上一篇

基于本地漂移和多样性算力的联邦学习优化算法

张一鸣¹^,², 曹腾飞¹^,²()

^1.青海大学计算机技术与应用学院，西宁 810016
^2.青海省智能计算与应用实验室，西宁 810016

收稿日期:2024-07-05 修回日期:2024-08-20 接受日期:2024-08-26 发布日期:2024-08-29 出版日期:2025-05-10
通讯作者: 曹腾飞
作者简介:张一鸣（1999—），男，江苏无锡人，硕士研究生，主要研究方向：联邦学习、隐私保护
曹腾飞（1987—），男，青海西宁人，副教授，博士生导师，博士，CCF高级会员，主要研究方向：智能网络优化、网络攻防。
基金资助:
国家自然科学基金青年基金资助项目(62101299);青海省应用基础研究项目(2024-ZJ-708)

Federated learning optimization algorithm based on local drift and diversity computing power

Yiming ZHANG¹^,², Tengfei CAO¹^,²()

^1.Department of Computer Technology and Applications，Qinghai University，Xining Qinghai 810016，China
^2.Qinghai Provincial Laboratory for Intelligent Computing and Application Laboratory （Qinghai University），Xining Qinghai 810016，China

Received:2024-07-05 Revised:2024-08-20 Accepted:2024-08-26 Online:2024-08-29 Published:2025-05-10
Contact: Tengfei CAO
About author:ZHANG Yiming， born in 1999， M. S. candidate. His research interests include federated learning， privacy protection.
CAO Tengfei， born in 1987， Ph. D.， associate professor. His research interests include intelligent network optimization， network attack and defense.
Supported by:
Youth Fund of National Natural Science Foundation of China(62101299);Qinghai Province Applied Basic Research Project(2024-ZJ-708)

摘要/Abstract

摘要：

针对联邦学习（FL）在边缘计算应用中所面临的非独立同分布（non-IID）数据和异构算力挑战，为了避免non-IID数据导致客户端模型更新出现较大偏差，从而引发模型不稳定的收敛，引入本地漂移变量的概念；并通过校正本地模型参数，将本地训练过程与全局聚合过程分离，优化FL在non-IID数据训练过程中的性能。此外，鉴于边缘服务器算力的多样性，提出一种新的策略：从全局模型中划分出一个简化的神经网络子模型下发给算力受限的边缘服务器进行训练，而高算力的边缘服务器则使用整个全局模型进行训练；低算力边缘服务器训练所得的参数将上传至云服务器，通过冻结部分参数提高整个模型的拟合速度。结合以上2种方法，提出一种基于本地漂移和多样性算力的联邦学习优化算法（FedLD），旨在解决联邦学习在边缘计算应用中所面临的non-IID数据和多样性算力带来的异构挑战。实验结果表明，FedLD比FedAvg、SCAFFOLD和FedProx算法收敛更快、准确率更高，相较于FedProx，在50个客户端参与训练时，FedLD在MNIST、CIFAR-10和CIFAR-100数据集上分别将模型准确率提升了0.39%、3.68%和15.24%；与最新的FedProc算法相比，FedLD通信开销更低；在K最近邻（KNN）算法、长短期记忆（LSTM）模型和双向门控循环单元（GRU）模型上的对比实验结果也表明，结合FedLD后，这3种模型的预测精度均有约1%的提升。

关键词: 联邦学习, 边缘计算, 异构性, 非独立同分布数据, 客户端漂移, 多样性算力

Abstract:

In view of the challenges of non-Independent and Identically Distributed （non-IID） data and heterogeneous computing power faced in Federated Learning （FL） for edge computing applications， the concept of local drift variable was introduced to avoid the significant deviation in client model updates caused by non-IID data， thereby preventing unstable model convergence. By correcting the local model parameters， the local training process was separated from the global aggregation process， optimizing FL performance in non-IID data training process. Furthermore， considering the diversity of edge server computing power， a new strategy was proposed： a simplified neural network sub-model was divided from the global model for deployment on resource-constrained edge servers， while high-capacity servers utilized the complete global model. Parameters trained by the low-capacity servers were uploaded to the cloud server， with partial parameter freezing to accelerate model convergence. Integrating these two methods， a Federated learning optimization algorithm based on Local drift and Diversity computing power （FedLD） was proposed to solve the heterogeneous challenges caused by non-IID data and diversity computing power in FL for edge computing. Experimental results show that FedLD has faster convergence speed and higher accuracy compared to FedAvg， SCAFFOLD， and FedProx algorithms， compared to FedProx， when 50 clients are involved in training， FedLD improves the model accuracy by 0.39%， 3.68% and 15.24% on MNIST， CIFAR-10 and CIFAR-100 datasets， respectively. Comparative analysis with the latest FedProc algorithm reveals that FedLD has lower communication overhead. Additional experiments incorporating K-Nearest Neighbors （KNN） algorithm， Long Short-Term Memory （LSTM） model， and bidirectional Gated Recurrent Unit （GRU） model demonstrate approximately 1% accuracy improvements across all three models when integrated with FedLD.

Key words: Federated Learning (FL), edge computing, heterogeneity, non-Independent and Identically Distributed (non-IID) data, client drift, diversity computing power

中图分类号:

TP393

张一鸣, 曹腾飞. 基于本地漂移和多样性算力的联邦学习优化算法[J]. 计算机应用, 2025, 45(5): 1447-1454.

Yiming ZHANG, Tengfei CAO. Federated learning optimization algorithm based on local drift and diversity computing power[J]. Journal of Computer Applications, 2025, 45(5): 1447-1454.

图/表 8

图1 FedLD框架

Fig. 1 Framework of FedLD

图2 FedAvg和FedD在MNIST验证集上的准确率对比

Fig. 2 Comparison of accuracy between FedAvg and FedD on MNIST validation set

表1 不同客户端数量的联邦学习算法在不同数据集上的预测准确率 ( %)

Tab. 1 Prediction accuracies of federated learning algorithms with different number of clients on different datasets

算法	MNIST		CIFAR-10		CIFAR-100
算法	50客户端	100客户端	50客户端	100客户端	50客户端	100客户端
FedAvg	98.12±0.11	98.15±0.11	82.16±0.15	82.25±0.44	40.01±0.11	39.75±0.12
FedProx	98.11±0.10	98.12±0.14	82.01±0.25	82.55±0.35	40.15±0.27	40.52±0.43
SCAFFOLD	98.31±0.16	98.42±0.12	84.52±0.38	84.69±0.12	49.55±0.08	51.25±0.11
FedLD	98.50±0.12	98.66±0.19	85.69±0.30	86.22±0.35	55.39±0.18	55.60±0.13

图3 不同算法在MNSIT数据集上的准确率与损失率对比

Fig. 3 Comparison of accuracies and loss rates of different algorithms on MNSIT dataset

图4 不同算法在CIFAR-10数据集上的准确率与损失率对比

Fig. 4 Comparison of accuracies and losses of different algorithms on CIFAR-10 dataset

图5 不同算法在CIFAR-100数据集上的准确率与损失率对比

Fig. 5 Comparison of accuracies and loss rates of different algorithms on CIFAR-100 dataset

图6 DIABETES数据集上各算法优化前后的预测准确率对比

Fig. 6 Prediction accuracy comparison of each algorithm before and after optimization on DIABETES dataset

表2 FedLD与FedProc的对比

Tab. 2 Comparison of FedLD and FedProc

算法	准确率/%	每轮训练时间/s
FedProc	55.10±0.41	1 675
FedLD	55.39±0.18	1 648

参考文献 27

1	孙兵，刘艳，王田，等.移动边缘网络中联邦学习效率优化综述［J］.计算机研究与发展，2022，59（7）：1439-1469.
	SUN B， LIU Y， WANG T， et al. Survey on optimization of federal learning efficiency in mobile edge networks［J］. Journal of Computer Research and Development， 2022， 59（7）： 1439-1469.
2	VOIGT P， VON DEM BUSSCHE A. The EU General Data Protection Regulation （GDPR）： a practical guide ［M］. Cham： Springer， 2017： 10-55.
3	刘桂锋，阮冰颖，刘琼.加强数据安全防护提升数据治理能力——《中华人民共和国数据安全法（草案）》解读［J］.农业图书情报学报， 2021， 33（4）： 4-13.
	LIU G F， RUAN B Y， LIU Q. Enhance data security governance capability： interpretation of data security law of the People's Republic of China （Draft）［J］. Journal of Library and Information Sciences in Agriculture， 2021， 33（4）： 4-13..
4	YANG Q， LIU Y， CHEN T， et al. Federated machine learning： concept and applications［J］. ACM Transactions on Intelligent Systems and Technology， 2019， 10（2）： No.12.
5	陈庆礼，郭渊博，方晨.面向数据异构的聚类联邦学习算法［J/OL］.计算机应用，2024 ［2024-07-02］. .
	CHEN Q L， GUO Y B， FANG C. Clustering federated learning algorithm for heterogeneous data ［J/OL］. Journal of Computer Applications， 2024 ［2024-07-02］. .
6	XU C， QU Y， XIONG Y， et al. Asynchronous federated learning on heterogeneous devices： a survey［J］. Computer Science Review， 2023， 50： No.100595.
7	WANG K， MATHEWS R， KIDDON C， et al. Federated evaluation of on-device personalization［EB/OL］. ［2024-03-22］. .
8	MALAN E， PELUSO V， CALIMERA A， et al. Communication-efficient federated learning with gradual layer freezing［J］. IEEE Embedded Systems Letters， 2023， 15（1）： 25-28.
9	YE M， FANG X， DU B， et al. Heterogeneous federated learning： state-of-the-art and research challenges［J］. ACM Computing Surveys， 2024， 56（3）： No.79.
10	黄伟峰.基于联邦学习的移动边缘协同计算技术研究［D］.西安：西安电子科技大学，2022.
	HUANG W F. Mobile edge collaborative computing technology based on federated learning［D］. Xi'an： Xidian University， 2022.
11	WANG B， CHEN Y， JIANG H， et al. PPeFL： privacy-preserving edge federated learning with local differential privacy［J］. IEEE Internet of Things Journal， 2023， 10（17）： 15488-15500.
12	NEW W K， WONG K K， XU H， et al. Fluid antenna system： new insights on outage probability and diversity gain［J］. IEEE Transactions on Wireless Communications， 2024， 23（1）： 128-140.
13	雷帅.面向边缘计算的联邦学习高效聚合策略研究［D］.重庆：重庆邮电大学，2022.
	LEI S. Efficient aggregation strategies for federated learning in edge computing［D］. Chongqing： Chongqing University of Posts and Telecommunications， 2022.
14	HUANG X， LI P， LI X. Stochastic controlled averaging for federated learning with communication compression［EB/OL］. ［2024-11-09］. .
15	KARIMIREDDY S P， KALE S， MOHRI M， et al. SCAFFOLD： stochastic controlled averaging for federated learning［C］// Proceedings of the 37th International Conference on Machine Learning. New York： ACM， 2020： 5132-5143.
16	MU X， SHEN Y， CHENG K， et al. FedProc： prototypical contrastive federated learning on non-IID data［J］. Future Generation Computer Systems， 2023， 143： 93-104.
17	McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th Artificial Intelligence and Statistics. New York： ACM， 2017： 1273-1282.
18	王蓓蓓，朱竞，王嘉乐，等.电表数据隐私保护下的联邦学习行业电力负荷预测框架［J］.电力系统自动化，2023，47（13）：86-93.
	WANG B B， ZHU J， WANG J L， et al. Federated-learning based industry load forecasting framework under privacy protection of meter data［J］. Automation of Electric Power Systems， 2023， 47（13）： 86-93.
19	VARNO F， SAGHAYI M， RAFIEE SEVYERI L， et al. AdaBest： minimizing client drift in federated learning via adaptive bias estimation［C］// Proceedings of the 2022 European Conference on Computer Vision， LNCS 13683. Cham： Springer， 2022： 710-726.
20	BADAR M， NEJDL W， FISICHELLA M. FAC-Fed： federated adaptation for fairness and concept drift aware stream classification［J］. Machine Learning， 2023， 112（8）： 2761-2786.
21	RAN H， WEN S， WANG S， et al. Memristor-based edge computing of ShuffleNetV2 for image classification［J］. IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems， 2021， 40（8）： 1701-1710.
22	GAO L， FU H， LI L， et al. FedDC： federated learning with non-iid data via local drift decoupling and correction［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 10102-10111.
23	韩洁，陈俊芬，李艳，等.基于自注意力的自监督深度聚类算法［J］.计算机科学，2022，49（3）：134-143.
	HAN J， CHEN J F， LI Y， et al. Self-supervised deep clustering algorithm based on self-attention［J］. Computer Science， 2022， 49（3）： 134-143.
24	LI H， LUO L， WANG H. Federated learning on non-independent and identically distributed data［C］// Proceedings of the 3rd International Conference on Machine Learning and Computer Application. Bellingham， WA： SPIE， 2023， 12636： 126360O.
25	KAR B， YAHYA W， LIN Y D， et al. Offloading using traditional optimization and machine learning in federated cloud-edge-fog systems： a survey［J］. IEEE Communications Surveys and Tutorials， 2023， 25（2）： 1199-1226.
26	LI T， SAHU A K， ZAHEER M， et al. Federated optimization in heterogeneous networks［C］// Proceedings of the 2020 Machine Learning and Systems 2. ［S.l.］： MLSys， 2020： 429-450.
27	何常乐，袁培燕.边缘联邦学习的客户端选择机制［J］.计算机应用，2023，43（S1）：147-153.
	HE C L， YUAN P Y. Client selection mechanism for federated learning in edge computing［J］. Journal of Computer Applications， 2023， 43（S1）： 147-153.

[1]	项钰斐, 倪郑威. 基于演化博弈的分层联邦学习边缘联合动态分析[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1077-1085.
[2]	陈庆礼, 郭渊博, 方晨. 面向数据异构的聚类联邦学习算法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1086-1094.
[3]	林海力, 李京. 基于工作证明的联邦学习懒惰客户端识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 856-863.
[4]	王泉, 曹心雨, 陈祺东. 面向车路协同的路侧交通目标检测模型及部署[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 1016-1024.
[5]	曾辉, 熊诗雨, 狄永正, 史红周. 基于剪枝的大模型联邦参数高效微调技术[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 715-724.
[6]	任志强, 陈学斌. 基于历史模型更新的自适应防御机制FedAud[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 490-496.
[7]	徐超, 张淑芬, 陈海田, 彭璐璐, 张帅华. 基于自适应差分隐私与客户选择优化的联邦学习方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 482-489.
[8]	王心妍, 杜嘉程, 钟李红, 徐旺旺, 刘伯宇, 佘维. 融合电力数据的纵向联邦学习企业排污预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 518-525.
[9]	陈海田, 陈学斌, 马锐奎, 张帅华. 面向遥感数据的基于本地差分隐私的联邦学习隐私保护方案[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 506-517.
[10]	朱亮, 慕京哲, 左洪强, 谷晶中, 朱付保. 基于联邦图神经网络的位置隐私保护推荐方案[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 136-143.
[11]	晏燕, 钱星颖, 闫鹏斌, 杨杰. 位置大数据的联邦学习统计预测与差分隐私保护方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 127-135.
[12]	张淑芬, 张宏扬, 任志强, 陈学斌. 联邦学习的公平性综述[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 1-14.
[13]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[14]	沈哲远, 杨珂珂, 李京. 基于双流神经网络的个性化联邦学习方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2319-2325.
[15]	罗玮, 刘金全, 张铮. 融合秘密分享技术的双重纵向联邦学习框架[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1872-1879.

基于本地漂移和多样性算力的联邦学习优化算法

Federated learning optimization algorithm based on local drift and diversity computing power

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 27

相关文章 15

编辑推荐

Metrics