边缘异构下的联邦分割学习优化方法

doi:10.11772/j.issn.1001-9081.2024121840

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (1): 33-42.DOI: 10.11772/j.issn.1001-9081.2024121840

边缘异构下的联邦分割学习优化方法

俞浩¹^,²^,³, 范菁¹^,²^,³(), 孙伊航¹^,²^,³, 金亚东¹^,²^,³, 郗恩康¹^,²^,³, 董华¹^,²^,³

^1.云南民族大学电气信息工程学院，昆明 650504
^2.云南省无人自主系统重点实验室（云南民族大学），昆明 650504
^3.云南省高校信息与通信安全灾备重点实验室（云南民族大学），昆明 650504

收稿日期:2025-01-02 修回日期:2025-03-10 接受日期:2025-03-18 发布日期:2026-01-10 出版日期:2026-01-10
通讯作者: 范菁
作者简介:俞浩（2000—），男，湖北咸宁人，硕士研究生，CCF学生会员，主要研究方向：联邦学习、分割学习、边缘计算
孙伊航（2001—），男（回族），河南许昌人，硕士研究生，主要研究方向：联邦学习、异步通信
金亚东（1998—），男（彝族），云南昆明人，硕士研究生，主要研究方向：联邦学习、空天地一体化网络
郗恩康（2000—），男，山东枣庄人，硕士研究生，主要研究方向：联邦学习、隐私安全
董华（2001—），男，山西运城人，硕士研究生，主要研究方向：联邦学习、计算效率优化。
基金资助:
教育部-新一代信息技术创新项目(2023IT077);云南省教育厅科学研究基金资助项目(2025Y0670);云南省吴中海专家工作站项目(202305AF150045)

Federated split learning optimization method under edge heterogeneity

Hao YU¹^,²^,³, Jing FAN¹^,²^,³(), Yihang SUN¹^,²^,³, Yadong JIN¹^,²^,³, Enkang XI¹^,²^,³, Hua DONG¹^,²^,³

^1.College of Electrical and Information Technology，Yunnan Minzu University，Kunming Yunnan 650504，China
^2.Yunnan Key Laboratory of Unmanned Autonomous System （Yunnan Minzu University），Kunming Yunnan 650504，China
^3.Key Laboratory of Information and Communication Security and Disaster Recovery in Universities of Yunnan Province （Yunnan Minzu University），Kunming Yunnan 650504，China

Received:2025-01-02 Revised:2025-03-10 Accepted:2025-03-18 Online:2026-01-10 Published:2026-01-10
Contact: Jing FAN
About author:YU Hao， born in 2000， M. S. candidate. His research interests include federated learning， split learning， edge computing.
SUN Yihang， born in 2001， M. S. candidate. His research interests include federated learning， asynchronous communication.
JIN Yadong， born in 1998， M. S. candidate. His research interests include federated learning， space-air-ground integrated network.
XI Enkang， born in 2000， M. S. candidate. His research interests include federated learning， privacy security.
DONG Hua， born in 2001， M. S. candidate. His research interests include federated learning， computational efficiency optimization.
Supported by:
Ministry of Education — New Generation of Information Technology Innovation Project(2023IT077);Scientific Research Foundation of Education Department of Yunnan Province(2025Y0670);Project of Wu Zhonghai Expert Workstation(202305AF150045)

摘要/Abstract

摘要：

联邦学习（FL）作为一种以隐私保护为核心的分布式学习框架，已有效解决了数据孤岛问题。然而，现实中的物联网（IoT）终端设备通常呈现出异构特性，特别是设备性能的差异以及数据的非独立同分布（Non-IID）特性，这些会导致模型的性能和收敛速度下降。针对这些挑战，提出一种边缘异构下的联邦分割学习优化方法FedCRS （Federated Cluster-based Round Splitting）。首先，通过基于设备性能的自适应聚类策略，动态地将客户端分簇，并为每个簇设计适配的子模型，以平衡计算负载，从而解决设备异构性带来的落后者效应；其次，提出一种环形拓扑的循环模型传递机制，以通过簇内客户端局部模型的融合缓解数据异构性带来的客户端漂移现象，并显著提升全局模型的鲁棒性与泛化能力。在FMNIST、CIFAR-10和CIFAR-100共3个标签异构分布的数据集上的实验结果表明，相较于FedAvg （Federated Averaging）、FedProx、MOON （MOdel-cONtrastive learning）、SplitFed和SplitMix （Split Mixing）这5种基线方法，所提方法在精度上均取得最优表现，至少分别提高了8.7、11.1和2.1个百分点；同时在FMNIST、CIFAR-10数据集上的收敛速度至少分别提升了78.1%和13.2%。可见， FedCRS在边缘异构环境下优化联邦模型精度与收敛速度时是有效的，展现出较好的实际应用前景。

关键词: 联邦学习, 异构性, 分割学习, 循环拓扑, 高效性

Abstract:

Federated learning （FL）， as a privacy-preserving distributed learning framework， has solved the data silo problem effectively. However， the heterogeneous characteristics of Internet of Things （IoT） terminal devices in real-world scenarios， particularly device performance variations and Non-Independent and Identically Distributed （Non-IID） data properties， will cause degradation of the model performance and convergence speed. To address these challenges， a federated split learning optimization method under edge heterogeneity named FedCRS （Federated Cluster-based Round Splitting） was proposed. Firstly， an adaptive clustering strategy based on device performance was developed to cluster the clients dynamically， and assign customized sub-models for the clusters to balance computational loads， thereby solving straggler effect caused by device heterogeneity. Then， a ring-topology cyclic model transfer mechanism was created， where local model fusion of intra-cluster clients was implemented to alleviate client drift caused by data heterogeneity while enhancing global model robustness and generalization capability significantly. Experimental results on three label-heterogeneous datasets （FMNIST， CIFAR-10， and CIFAR-100） demonstrate that compared with five baseline methods （FedAvg （Federated Averaging）， FedProx， MOON （MOdel-cONtrastive learning）， SplitFed， and SplitMix （Split Mixing））， FedCRS has the best accuracy on all the datasets， and has the accuracy improvements of at least 8.7， 11.1， and 2.1 percentage points， respectively； and on FMINST， CIFAR-10 datasets， FedCRS has the convergence acceleration reached 78.1%and13.2%， respectively. It can be seen that FedCRS is effective in optimizing model accuracy and convergence speed under edge heterogeneous environments， indicating good practical application prospects.

Key words: Federated Learning (FL), heterogeneity, split learning, cyclic topology, efficiency

中图分类号:

TP399

俞浩, 范菁, 孙伊航, 金亚东, 郗恩康, 董华. 边缘异构下的联邦分割学习优化方法[J]. 计算机应用, 2026, 46(1): 33-42.

Hao YU, Jing FAN, Yihang SUN, Yadong JIN, Enkang XI, Hua DONG. Federated split learning optimization method under edge heterogeneity[J]. Journal of Computer Applications, 2026, 46(1): 33-42.

图/表 12

图1 分割学习示意图

Fig. 1 Schematic diagram of split learning

图2 联邦分割学习的一般过程

Fig. 2 General process of federated split learning

图3 FedCRS的总体框架

Fig. 3 Overall framework of FedCRS

表1 本文主要符号

Tab. 1 Main symbols in the paper

符号	描述
$R k$	客户端k的性能向量
$C j$	第j个边缘簇集合
$L j$	第j个边缘簇模型切割点
$S j t$	第t轮次第j个边缘簇参与训练客户端集合
$d p q$	客户端p与q之间的通信延迟
$l p q$	客户端p和q之间的距离
$O j t$	第t轮次第j边缘簇循环传递客户端集合
$w o k, j t$	第j边缘下排序后t轮次的第k个客户端局部模型
$F k (w k t)$	第k个客户端局部损失函数
$F O j t (w)$	第j个边缘簇排序后的局部损失总和
$T m a x$	客户端通信延迟阈值

表1 本文主要符号

Tab. 1 Main symbols in the paper

符号	描述
$R k$	客户端k的性能向量
$C j$	第j个边缘簇集合
$L j$	第j个边缘簇模型切割点
$S j t$	第t轮次第j个边缘簇参与训练客户端集合
$d p q$	客户端p与q之间的通信延迟
$l p q$	客户端p和q之间的距离
$O j t$	第t轮次第j边缘簇循环传递客户端集合
$w o k, j t$	第j边缘下排序后t轮次的第k个客户端局部模型
$F k (w k t)$	第k个客户端局部损失函数
$F O j t (w)$	第j个边缘簇排序后的局部损失总和
$T m a x$	客户端通信延迟阈值

表2 实验使用数据集及配置

Tab. 2 Datasets and configurations used in experiments

数据集	模型	学习率	衰减率	批次占比	客户端类别数
FMNIST	2 conv +2 fc	0.10	0.970	0.06	2
CIFAR-10	VGG-16	0.03	0.996	0.06	2
CIFAR-100	VGG-19	0.03	0.997	0.06	20

表3 不同数据集上的精度对比 ( %)

Tab. 3 Accuracy comparison on different datasets

方法	数据集
方法	FMNIST	CIFAR-10	CIFAR-100
FedAvg	73.1	42.6	32.1
FedProx	77.3	53.2	39.3
MOON	78.5	59.6	41.3
SplitFed	75.8	71.5	32.8
SplitMix	71.5	56.4	33.3
FedCRS	87.2	82.6	43.4

图4 FMNIST数据集上的精度变化

Fig. 4 Accuracy changes on FMNIST dataset

图5 CIFAR-10数据集上的精度变化

Fig. 5 Accuracy changes on CIFAR-10 dataset

图6 CIFAR-100数据集上的精度变化

Fig. 6 Accuracy changes on CIFAR-100 dataset

表4 达到目标精度所需的通信轮次

Tab. 4 Number of communication rounds required to reach target accuracy

方法	达到阈值的最低轮次
方法	FMNIST	CIFAR-10	CIFAR-100
FedAvg	72	≥1 000	1 078
FedProx	38	464	573
MOON	55	363	485
SplitFed	32	212	1 238
SplitMix	95	312	825
FedCRS	7	184	682

图7 客户端参与率对模型精度的影响

Fig. 7 Influence of client participation rate on model accuracy

表5 转移权重对精度的影响

Tab. 5 Impact of transfer weights on accuracy

转移权重	精度/%	转移权重	精度/%
0.0	83.5	0.6	86.8
0.2	86.1	0.8	84.2
0.4	87.2	1.0	78.1

参考文献 28

[1]	LI Q， WEN Z， WU Z， et al. A survey on federated learning systems： vision， hype and reality for data privacy and protection ［J］. IEEE Transactions on Knowledge and Data Engineering， 2023， 35（4）： 3347-3366.
[2]	KONEČNÝ J， McMAHAN H B， RAMAGE D， et al. Federated optimization： distributed machine learning for on-device intelligence ［EB/OL］. ［2024-09-08］. .
[3]	HOU Z， CHU L， LIU C， et al. Towards fair federated learning ［C］// Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2021： 4100-4101.
[4]	ZHANG X， SUN W， CHEN Y. Tackling the non-IID issue in heterogeneous federated learning by gradient harmonization ［J］. IEEE Signal Processing Letters， 2024， 31： 2595-2599.
[5]	俞浩，范菁，孙伊航，等.联邦学习统计异质性综述［J］.计算机应用， 2025， 45（9）： 2737-2746.
	YU H， FAN J， SUN Y H， et al. Survey of statistical heterogeneity in federated learning ［J］. Journal of Computer Applications， 2025， 45（9）： 2737-2746.
[6]	LI T， SAHU A K， ZAHEER M， et al. Federated optimization in heterogeneous networks ［EB/OL］. ［2024-09-09］. .
[7]	KARIMIREDDY S P， KALE S， MOHRI M， et al. SCAFFOLD： stochastic controlled averaging for on-device federated learning ［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 5132-5143.
[8]	JIA Y， ZHANG N. Research and implementation of asynchronous transmission and update strategy for federated learning ［C］// Proceedings of the IEEE 8th International Conference on Computer and Communications. Piscataway： IEEE， 2022： 1281-1286.
[9]	LIANG Y， OUYANG C， CHEN X. Adaptive asynchronous federated learning for heterogeneous clients ［C］// Proceedings of the 18th International Conference on Computational Intelligence and Security. Piscataway： IEEE， 2022： 399-403.
[10]	MACIEL F， DE SOUZA A M， BITTENCOURT L F， et al. Federated learning energy saving through client selection ［J］. Pervasive and Mobile Computing， 2024， 103： No.101948.
[11]	AJAO A， JONATHAN O， ADETIBA E. The applications of federated learning algorithm in the federated cloud environment： a systematic review ［C］// Proceedings of the 2024 International Conference on Science， Engineering and Business for Driving Sustainable Development Goals. Piscataway： IEEE， 2024： 1-15.
[12]	LIU X， DENG Y， MAHMOODI T. Wireless distributed learning： a new hybrid split and federated learning approach ［J］. IEEE Transactions on Wireless Communications， 2023， 22（4）： 2650-2665.
[13]	GUPTA O， RASKAR R. Distributed learning of deep neural network over multiple agents ［J］. Journal of Network and Computer Applications， 2018， 116： 1-8.
[14]	AYAD A， RENNER M， SCHMEINK A. Improving the communication and computation efficiency of split learning for IoT applications ［C］// Proceedings of the 2021 IEEE Global Communications Conference. Piscataway： IEEE， 2021： 1-6.
[15]	JEON J， KIM J. Privacy-sensitive parallel split learning ［C］// Proceedings of the 2020 International Conference on Information Networking. Piscataway： IEEE， 2020： 7-9.
[16]	BARHOUSH M， AYAD A， SCHMEINK A. Semi-supervised learning in distributed split learning architecture and IoT applications ［C］// Proceedings of the IEEE 15th International Symposium on Autonomous Decentralized System. Piscataway： IEEE， 2023： 1-6.
[17]	THAPA C， ARACHCHIGE P C M， CAMTEPE S， et al. SplitFed： when federated learning meets split learning ［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 8485-8493.
[18]	KHAN L U， GUIZANI M， AL-FUQAHA A， et al. A joint communication and learning framework for hierarchical split federated learning ［J］. IEEE Internet of Things Journal， 2024， 11（1）： 268-282.
[19]	LUO M， CHEN F， HU D， et al. No fear of heterogeneity： classifier calibration for federated learning with non-IID data ［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2021： 5972-5984.
[20]	DIAO E， DING J， TAROKH V. HeteroFL： computation and communication efficient federated learning for heterogeneous clients ［EB/OL］. ［2024-09-08］. .
[21]	YANG H， XI W， WANG Z， et al. FedRich： towards efficient federated learning for heterogeneous clients using heuristic scheduling ［J］. Information Sciences， 2023， 645： No.119360.
[22]	WANG K I K， YE X， SAKURAI K. Federated learning with clustering-based participant selection for IoT applications ［C］// Proceedings of the 2022 IEEE International Conference on Big Data. Piscataway： IEEE， 2022： 6830-6831.
[23]	XU C， QU Y， LUAN T H， et al. An efficient and reliable asynchronous federated learning scheme for smart public transportation ［J］. IEEE Transactions on Vehicular Technology， 2023， 72（5）： 6584-6598.
[24]	LUO L， ZHANG X. Federated split learning via mutual knowledge distillation ［J］. IEEE Transactions on Network Science and Engineering， 2024， 11（3）： 2729-2741.
[25]	WANG Z， LIN H， LIU Q， et al. FedCST： federated learning on heterogeneous resource-constrained devices using clustering and split training ［C］// Proceedings of the IEEE 24th International Conference on Software Quality， Reliability， and Security Companion. Piscataway： IEEE， 2024： 786-792.
[26]	LIU L， ZHANG J， SONG S H， et al. Client-edge-cloud hierarchical federated learning ［C］// Proceedings of the 2020 IEEE International Conference on Communications. Piscataway： IEEE， 2020： 1-6.
[27]	LI Q， HE B， SONG D. Model-contrastive federated learning ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 10708-10717.
[28]	HONG J， WANG H， WANG Z， et al. Efficient split-mix federated learning for on-demand and in-situ customization ［EB/OL］. ［2025-01-09］. .

边缘异构下的联邦分割学习优化方法

Federated split learning optimization method under edge heterogeneity

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 28

相关文章 15

编辑推荐

Metrics

[1]	张珂嘉, 方志军, 周南润, 史志才. 基于模型预分配与自蒸馏的个性化联邦学习方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 10-20.
[2]	菅银龙, 陈学斌, 景忠瑞, 钟琪, 张镇博. 联邦学习中基于条件生成对抗网络的数据增强方案[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 21-32.
[3]	俞浩, 范菁, 孙伊航, 董华, 郗恩康. 联邦学习统计异质性综述[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2737-2746.
[4]	苏锦涛, 葛丽娜, 肖礼广, 邹经, 王哲. 联邦学习中针对后门攻击的检测与防御方案[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2399-2408.
[5]	葛丽娜, 王明禹, 田蕾. 联邦学习的高效性研究综述[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2387-2398.
[6]	张宏扬, 张淑芬, 谷铮. 面向个性化与公平性的联邦学习算法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2123-2131.
[7]	张一鸣, 曹腾飞. 基于本地漂移和多样性算力的联邦学习优化算法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1447-1454.
[8]	范亚州, 李卓. 能耗约束下分层联邦学习模型质量优化的节点协作机制[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1589-1594.
[9]	项钰斐, 倪郑威. 基于演化博弈的分层联邦学习边缘联合动态分析[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1077-1085.
[10]	陈庆礼, 郭渊博, 方晨. 面向数据异构的聚类联邦学习算法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1086-1094.
[11]	曾辉, 熊诗雨, 狄永正, 史红周. 基于剪枝的大模型联邦参数高效微调技术[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 715-724.
[12]	林海力, 李京. 基于工作证明的联邦学习懒惰客户端识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 856-863.
[13]	徐超, 张淑芬, 陈海田, 彭璐璐, 张帅华. 基于自适应差分隐私与客户选择优化的联邦学习方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 482-489.
[14]	王心妍, 杜嘉程, 钟李红, 徐旺旺, 刘伯宇, 佘维. 融合电力数据的纵向联邦学习企业排污预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 518-525.
[15]	陈海田, 陈学斌, 马锐奎, 张帅华. 面向遥感数据的基于本地差分隐私的联邦学习隐私保护方案[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 506-517.