基于演化博弈的分层联邦学习边缘联合动态分析

doi:10.11772/j.issn.1001-9081.2024040428

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (4): 1077-1085.DOI: 10.11772/j.issn.1001-9081.2024040428

基于演化博弈的分层联邦学习边缘联合动态分析

项钰斐, 倪郑威()

浙江工商大学信息与电子工程学院，杭州 310018

收稿日期:2024-04-10 修回日期:2024-06-27 接受日期:2024-07-04 发布日期:2025-04-08 出版日期:2025-04-10
通讯作者: 倪郑威
作者简介:项钰斐（1999—），男，浙江金华人，硕士研究生，主要研究方向：自然语言处理、机器学习
倪郑威（1989—），男，湖北荆州人，副研究员，博士，CCF会员，主要研究方向：自然语言处理、机器学习。
基金资助:
浙江省自然科学基金资助项目(LQ22F010008)

Edge federation dynamic analysis for hierarchical federated learning based on evolutionary game

Yufei XIANG, Zhengwei NI()

School of Information and Electronic Engineering，Zhejiang Gongshang University，Hangzhou Zhejiang 310018，China

Received:2024-04-10 Revised:2024-06-27 Accepted:2024-07-04 Online:2025-04-08 Published:2025-04-10
Contact: Zhengwei NI
About author:XIANG Yufei， born in 1999， M. S. candidate. His research interests include natural language processing， machine learning.
NI Zhengwei， born in 1989， Ph. D.， associate research fellow. His research interests include natural language processing， machine learning.
Supported by:
Zhejiang Provincial Natural Science Foundation(LQ22F010008)

摘要/Abstract

摘要：

针对现有边缘服务器提供商（ESP）边缘资源有限导致的分层联邦学习的边缘节点服务质量（QoS）降低的问题，考虑边缘服务器潜在的边缘联合可能性，提出一种动态边缘联合框架（EFF）。所提框架内，不同的ESP相互协作，为分层联邦学习中由于客户端的异构性或数据的非独立同分布（Non-IID）等问题而降低的模型训练效率提供额外的边缘资源。首先，通过量化通信模型设定卸载决策，并将卸载任务发布给框架内其他ESP的边缘服务器，从而解决边缘资源的弹性化需求；其次，通过多轮迭代EFF参与策略（MIEPS）算法求解ESP之间的演化博弈均衡解，从而为ESP找到合适的资源分配策略；最后，通过理论和仿真实验验证均衡点的存在性、唯一性和稳定性。实验结果表明，相较于非联合策略和成对联合策略，通过MIEPS算法构建的三联EFF在基于独立同分布（IID）数据集训练得到的全局模型的预测准确率上分别提高了1.5和1.0个百分点，而在基于Non-IID数据集的准确率上分别提升了2.1和0.7个百分点。此外，通过改变ESP的资源配置方式，验证了EFF能够公平地分配ESP的报酬，激励更多的ESP参与其中，并形成良性的合作环境。

关键词: 分层联邦学习, 边缘联合, 任务卸载, 资源分配, 演化博弈

Abstract:

To address the issue that limited edge resources of the existing Edge Server Providers （ESPs） reduce the Quality of Service （QoS）of hierarchical federated learning edge nodes， a dynamic Edge Federated Framework （EFF）was proposed by considering the potential edge federation probability among edge servers. In the proposed framework， different ESPs cooperated to provide additional edge resources for hierarchical federated learning， which suffered from reduced model training efficiency due to client heterogeneity or Non-Independent and Identically Distributed （Non-IID）data. Firstly， decisions were offloaded by quantifying the communication model， and offloading tasks were assigned to the edge servers of other ESPs within the framework， so as to meet the elastic demand of edge resources. Secondly， the Multi-round Iterative EFF Participation Strategy （MIEPS）algorithm was used to solve the evolutionary game equilibrium solution among ESPs， thereby finding an appropriate resource allocation strategy. Finally， the existence， uniqueness， and stability of the equilibrium point were validated through theoretical and simulation experiments. Experimental results show that compared to non-federation and pairwise federation strategies， the tripartite EFF constructed using MIEPS algorithm improves the prediction accuracy of the global model trained on Independent and Identically Distributed （IID） datasets by 1.5 and 1.0 percentage points， respectively， and the prediction accuracy based on Non-IID datasets by 2.1 and 0.7 percentage points， respectively. Additionally， by changing the resource allocation method of ESP， it is validated that EFF can distribute the rewards of ESP fairly， encouraging more ESPs to participate and forming a positive cooperation environment.

Key words: hierarchical federated learning, edge federation, task offloading, resource allocation, evolutionary game

中图分类号:

TP393.0

项钰斐, 倪郑威. 基于演化博弈的分层联邦学习边缘联合动态分析[J]. 计算机应用, 2025, 45(4): 1077-1085.

Yufei XIANG, Zhengwei NI. Edge federation dynamic analysis for hierarchical federated learning based on evolutionary game[J]. Journal of Computer Applications, 2025, 45(4): 1077-1085.

图/表 9

图1 边缘联合框架下的分层联邦学习系统模型

Fig. 1 Hierarchical federated learning system model under edge federated framework

图2 区域任务流程

Fig. 2 Flow of area task

图3 边缘联合对预测准确率的影响

Fig. 3 Influence of edge federation on prediction accuracy

表1 模拟参数设置

Tab. 1 Simulation parameter setting

参数	ESP1	ESP2	参数	ESP1	ESP2
$B i$	［7 000，10 000］	［6 000，9 000］	$E i$	20	20
$C i, j$	100	150	$W i$	2.7×10⁵	2.1×10⁵
$U i U p$	800	600	$ρ i$	1	1
$C i$	800	360

表1 模拟参数设置

Tab. 1 Simulation parameter setting

参数	ESP1	ESP2	参数	ESP1	ESP2
$B i$	［7 000，10 000］	［6 000，9 000］	$E i$	20	20
$C i, j$	100	150	$W i$	2.7×10⁵	2.1×10⁵
$U i U p$	800	600	$ρ i$	1	1
$C i$	800	360

图4 种群占比趋势

Fig. 4 Proportion trend of population

图5 当混合策略达到稳定后收益的变化

Fig. 5 Change in payoff after mixed strategy reaching stability

图6 种群状态相位图

Fig. 6 Phase diagram of population state

图7 最大带宽能力的影响

Fig. 7 Influence of maximum bandwidth capacity

图8 边缘服务器数量的影响

Fig. 8 Influence of number of edge servers

参考文献 38

1	ABDULRAHMAN S， TOUT H， OULD-SLIMANE H， et al. A survey on federated learning： the journey from centralized to distributed on-site learning and beyond［J］. IEEE Internet of Things Journal， 2021， 8（7）： 5476-5497.
2	周传鑫，孙奕，汪德刚，等. 联邦学习研究综述［J］. 网络与信息安全学报， 2021， 7（5）： 77-92.
	ZHOU C X， SUN Y， WANG D G， et al. Survey of federated learning research［J］. Chinese Journal of Network and Information Security， 2021， 7（5）： 77-92.
3	McMAHAN H， MOORE E， RAMAGE D， et al. Communication efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.
4	YANG Q， LIU Y， CHEN T， et al. Federated machine learning： concept and applications［J］. ACM Transactions on Intelligent Systems and Technology， 2019， 10（2）： No.12.
5	NISHIO T， YONETANI R. Client selection for federated learning with heterogeneous resources in mobile edge［C］// Proceedings of the 2019 IEEE International Conference on Communications. Piscataway： IEEE， 2019： 1-7.
6	LIU L， ZHANG J， SONG S H， et al. Client-edge-cloud hierarchical federated learning［C］// Proceedings of the 2020 IEEE International Conference on Communications. Piscataway： IEEE， 2020： 1-6.
7	KHAN L U， ALSENWI M， HAN Z， et al. Self organizing federated learning over wireless networks： a socially aware clustering approach［C］// Proceedings of the 2020 International Conference on Information Networking. Piscataway： IEEE， 2020： 453-458.
8	TANDON R， LEI Q， DIMAKIS A G， et al. Gradient coding： avoiding stragglers in distributed learning［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 3368-3376.
9	AGRAWAL N， TAPASWI S. Defense mechanisms against DDoS attacks in a cloud computing environment： state-of-the-art and research challenges［J］. IEEE Communications Surveys and Tutorials， 2019， 21（4）： 3769-3795.
10	HE Q， WANG C， CUI G， et al. A game-theoretical approach for mitigating edge DDoS attack［J］. IEEE Transactions on Dependable and Secure Computing， 2022， 19（4）： 2333-2348.
11	DENG Y， LYU F， REN J， et al. SHARE： shaping data distribution at edge for communication-efficient hierarchical federated learning［C］// Proceedings of the IEEE 41st International Conference on Distributed Computing Systems. Piscataway： IEEE， 2021： 24-34.
12	马鑫迪，李清华，姜奇，等. 面向Non-IID数据的拜占庭鲁棒联邦学习［J］. 通信学报， 2023， 44（6）： 138-153.
	MA X D， LI Q H， JIANG Q， et al. Byzantine-robust federated learning over Non-IID data［J］. Journal on Communications， 2023， 44（6）： 138-153.
13	LUO S， CHEN X， WU Q， et al. HFEL： joint edge association and resource allocation for cost-efficient hierarchical federated edge learning［J］. IEEE Transactions on Wireless Communications， 2020， 19（10）： 6535-6548.
14	LIM W Y B， NG J S， XIONG Z， et al. Decentralized edge intelligence： a dynamic resource allocation framework for hierarchical federated learning［J］. IEEE Transactions on Parallel and Distributed Systems， 2022， 33（3）： 536-550.
15	YANG J， ZHOU Y， WEN W， et al. Asynchronous hierarchical federated learning based on bandwidth allocation and client scheduling［J］. Applied Sciences， 2023， 13（20）： No.11134.
16	WU B， FANG F， WANG X， et al. Client orchestration and cost-efficient joint optimization for NOMA-enabled hierarchical federated learning［EB/OL］. ［2024-04-14］..
17	COADY Y， HOHLFELD O， KEMPF J， et al. Distributed cloud computing： applications， status quo， and challenges［J］. ACM SIGCOMM Computer Communication Review， 2015， 45（2）： 38-43.
18	WEIBULL J W. Evolutionary game theory［M］. Cambridge： MIT Press， 1997： 30-35.
19	ZHAO Y， LI M， LAI L， et al. Federated learning with non-IID data［EB/OL］. ［2024-04-14］. .
20	JEONG E， OH S， KIM H， et al. Communication-efficient on-device machine learning： federated distillation and augmentation under non-IID private data［EB/OL］. ［2024-04-14］..
21	MA M， WU L， LIU W， et al. Data-aware hierarchical federated learning via task offloading［C］// Proceedings of the 2022 IEEE Global Communications Conference. Piscataway： IEEE， 2022： 1-6.
22	LIU S， YU G， CHEN X， et al. Joint user association and resource allocation for wireless hierarchical federated learning with IID and non-IID data［J］. IEEE Transactions on Wireless Communications， 2022， 21（10）： 7852-7866.
23	LIM W Y B， NG J S， XIONG Z， et al. Dynamic edge association and resource allocation in self-organizing hierarchical federated learning networks［J］. IEEE Journal on Selected Areas in Communications， 2021， 39（12）： 3640-3653.
24	WANG H， SHI P， ZHANG Y. JointCloud： a cross-cloud cooperation architecture for integrated internet service customization［C］// Proceedings of the IEEE 37th International Conference on Distributed Computing Systems. Piscataway： IEEE， 2017： 1846-1855.
25	MEYLER K， BUCHANAN S， SCHOLMAN M， et al. Microsoft hybrid cloud unleashed with azure stack and azure［M］. Carmel， IN： Sams Publishing， 2017： 171-182.
26	SHAN N， LI Y， CUI X. A multilevel optimization framework for computation offloading in mobile edge computing［J］. Mathematical Problems in Engineering， 2020， 2020： No.4124791.
27	DZIYAUDDIN R A， NIYATO D， LUONG N C， et al. Computation offloading and content caching delivery in vehicular edge computing： a survey［J］. Computer Networks， 2021， 197： No. 108228.
28	SHEN H， YE Q， ZHUANG W， et al. Drone-small-cell-assisted resource slicing for 5G uplink radio access networks［J］. IEEE Transactions on Vehicular Technology， 2021， 70（7）： 7071-7086.
29	殷珉，沈航，王天荆，等. 基于分层联邦学习的无人机小基站RAN切片方法［J］. 电子学报， 2023， 51（7）： 1774-1780.
	YIN M， SHEN H， WANG T J， et al. Hierarchical federated learning-based RAN slicing for drone-small-cells ［J］. Acta Electronica Sinica， 2023， 51（7）： 1774-1780.
30	BANY SALAMEH H， AL-OBIEDOLLAH H， MAHASEES R， et al. Opportunistic non-contiguous OFDMA scheduling framework for future B5G/6G cellular networks［J］. Simulation Modelling Practice and Theory， 2022， 119： No.102563.
31	XU J， WANG H. Client selection and bandwidth allocation in wireless federated learning networks： a long-term perspective［J］. IEEE Transactions on Wireless Communications， 2021， 20（2）： 1188-1200.
32	YANG Z， CHEN M， SAAD W， et al. Energy efficient federated learning over wireless communication networks［J］. IEEE Transactions on Wireless Communications， 2021， 20（3）： 1935-1949.
33	XI Y， BURR A， WEI J， et al. A general upper bound to evaluate packet error rate over quasi-static fading channels［J］. IEEE Transactions on Wireless Communications， 2011， 10（5）： 1373-1377.
34	ZAMALLOA M Z， KRISHNAMACHARI B. An analysis of unreliability and asymmetry in low-power wireless links［J］. ACM Transactions on Sensor Networks， 2007， 3（2）： No.7.
35	CHANDY J A. An analysis of resource costs in a public computing grid［C］// Proceedings of the 2009 IEEE International Symposium on Parallel and Distributed Processing. Piscataway： IEEE， 2009： 1-8.
36	HEINONEN J. Lectures on Lipschitz analysis［EB/OL］. ［2024-03-21］. .
37	SHEVITZ D， PADEN B. Lyapunov stability theory of nonsmooth systems［J］. IEEE Transactions on Automatic Control， 1994， 39（9）： 1910-1914.
38	LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[1]	王华华, 黄梁, 陈甲杰, 方杰宁. 基于深度强化学习的低轨卫星多波束子载波动态分配算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 571-577.
[2]	张俊娜, 王欣新, 李天泽, 赵晓焱, 袁培燕. 基于动态服务缓存辅助的任务卸载方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1493-1500.
[3]	赵晓焱, 韩威, 张俊娜, 袁培燕. 基于异步深度强化学习的车联网协作卸载策略[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1501-1510.
[4]	唐睿, 庞川林, 张睿智, 刘川, 岳士博. D2D通信增强的蜂窝网络中基于DDPG的资源分配[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1562-1569.
[5]	唐睿, 岳士博, 张睿智, 刘川, 庞川林. UAV协助下非正交多址接入使能的数据采集系统中能效优化机制[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1209-1218.
[6]	罗华亮, 李全忠, 张旗. 融合信息通信和空中计算的认知无线网络鲁棒资源分配优化[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1195-1202.
[7]	陈发堂, 黄淼, 金宇峰. 面向用户需求的低轨卫星资源分配算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1242-1247.
[8]	秦鑫彤, 宋政育, 侯天为, 王飞越, 孙昕, 黎伟. 基于自适应p持续的移动自组网信道接入和资源分配算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 863-868.
[9]	马勇健, 史旭华, 王佩瑶. 基于两阶段搜索与动态资源分配的约束多目标进化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 269-277.
[10]	李磊, 张国富, 苏兆品, 岳峰. 体系结构动态变化的软件测试资源分配算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2261-2270.
[11]	李校林, 江雨桑. 无人机辅助移动边缘计算中的任务卸载算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1893-1899.
[12]	耿方兴, 李卓, 陈昕. 基于多领导者Stackelberg博弈的分层联邦学习激励机制设计[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3551-3558.
[13]	郑万波, 陈慧敏, 吴燕清, 夏云霓. 基于应急救援的信息共享策略仿真[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 306-311.
[14]	毕文婷, 林海涛, 张立群. 基于多阶段演化信号博弈模型的移动目标防御决策算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2780-2787.
[15]	王界钦, 林士飏, 彭世明, 贾硕, 杨苗会. 协同移动边缘计算分层资源配置机制[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2501-2510.

基于演化博弈的分层联邦学习边缘联合动态分析

Edge federation dynamic analysis for hierarchical federated learning based on evolutionary game

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 38

相关文章 15

编辑推荐

Metrics