基于原型聚类和费舍尔信息矩阵加权融合的联邦学习算法

doi:10.11772/j.issn.1001-9081.2025081017

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (9): 2741-2751.DOI: 10.11772/j.issn.1001-9081.2025081017

• 人工智能 • 上一篇

基于原型聚类和费舍尔信息矩阵加权融合的联邦学习算法

王星尧¹^,²^,³, 陈学斌¹^,²^,³()

^1.华北理工大学理学院，河北唐山 063210
^2.河北省数据科学与应用重点实验室（华北理工大学），河北唐山 063210
^3.唐山市数据科学重点实验室（华北理工大学），河北唐山 063210

收稿日期:2025-09-04 修回日期:2025-10-10 接受日期:2025-10-20 发布日期:2025-11-07 出版日期:2026-09-10
通讯作者: 陈学斌
作者简介:王星尧（1999—），男，河北唐山人，硕士研究生，CCF会员，主要研究方向：数据安全、隐私保护
陈学斌（1970—），男，河北唐山人，教授，博士，CCF杰出会员，主要研究方向：大数据安全、物联网安全、网络安全。
基金资助:
国家自然科学基金资助项目(U20A20179)

Federated learning algorithm based on prototype clustering and Fisher information matrix weighted fusion

Xingyao WANG¹^,²^,³, Xuebin CHEN¹^,²^,³()

^1.College of Science，North China University of Science and Technology，Tangshan Hebei 063210，China
^2.Hebei Provincial Key Laboratory of Data Science and Application （North China University of Science and Technology），Tangshan Hebei 063210，China
^3.Tangshan Key Laboratory of Data Science （North China University of Science and Technology），Tangshan Hebei 063210，China

Received:2025-09-04 Revised:2025-10-10 Accepted:2025-10-20 Online:2025-11-07 Published:2026-09-10
Contact: Xuebin CHEN
About author:WANG Xingyao， born in 1999， M. S. candidate. His research interests include data security， privacy protection.
CHEN Xuebin， born in 1970， Ph. D.， professor. His research interests include big data security， internet of things security， network security.
Supported by:
National Natural Science Foundation of China(U20A20179)

摘要/Abstract

摘要：

联邦学习作为人工智能领域的重要研究方向，在保障数据隐私的前提下，通过分布式协同训练构建全局模型，为隐私敏感场景下的联合建模提供了新范式。然而，现有方法在面对客户端异构数据时，存在性能退化、训练振荡和收敛缓慢等问题。因此，提出一种基于原型聚类与费舍尔信息矩阵自适应加权融合的联邦学习算法——FedPFA。首先，服务器对客户端上传的原型表示进行聚类，以缓解数据分布差异并增强全局模型的一致性与泛化能力；其次，结合客户端的费舍尔信息矩阵迹估计值为原型分配差异化权重，从而在融合过程中突出高质量客户端的贡献，抑制噪声或训练不足客户端的干扰。在MNIST、Fashion-MNIST和CIFAR-10数据集上的实验结果表明，与联邦全局预测头（FedGH）算法相比，在客户端数为20、参与率为0.3的情况下，FedPFA的准确率分别提高了19.64、26.14和16.15个百分点。FedPFA在保证性能提升的同时，显著提高了全局模型的收敛速度与稳定性，并在多种数据集上展现出良好的鲁棒性与实际应用价值。

关键词: 联邦学习, 原型聚类, 费舍尔信息矩阵, 加权融合, 客户端选择

Abstract:

Federated learning， as an important research direction in the field of artificial intelligence， constructs global models through distributed collaborative training under the premise of ensuring data privacy， providing a new paradigm for joint modeling in privacy-sensitive scenarios. However， the existing methods are challenged by performance degradation， training oscillation， and slow convergence when faced with heterogeneous client data. Therefore， a federated learning algorithm based on prototype clustering and Fisher information matrix adaptive weighted fusion， named FedPFA， was proposed. First， the prototypes uploaded by clients were clustered by the server to mitigate data distribution discrepancies and enhance the consistency and generalization capability of the global model. Subsequently， differentiated weights were assigned to the prototypes by incorporating the trace estimated values of the Fisher information matrix from each client， thereby highlighting the contributions of high-quality clients and suppressing interference from noisy or inadequately trained clients during the fusion process. Experimental results on the MNIST， Fashion-MNIST， and CIFAR-10 datasets demonstrate that， under the setting of 20 clients and a participation rate of 0.3， FedPFA achieves accuracy improvements of 19.64， 26.14， and 16.15 percentage points， respectively， compared to the Federated Global prediction Header （FedGH） algorithm. It can be seen that FedPFA ensures performance enhancement， and improves the convergence speed and stability of the global model significantly， exhibiting strong robustness and practical application value on various datasets.

Key words: federated learning, prototype clustering, Fisher information matrix, weighted fusion, client selection

中图分类号:

TP309.2

王星尧, 陈学斌. 基于原型聚类和费舍尔信息矩阵加权融合的联邦学习算法[J]. 计算机应用, 2026, 46(9): 2741-2751.

Xingyao WANG, Xuebin CHEN. Federated learning algorithm based on prototype clustering and Fisher information matrix weighted fusion[J]. Journal of Computer Applications, 2026, 46(9): 2741-2751.

图/表 12

图1 FedPFA的框架

Fig. 1 Framework of FedPFA

图2 不同算法在3种数据集上的准确率和损失曲线对比（20个客户端）

Fig. 2 Accuracy and loss curve comparison of different algorithms on three datasets （20 clients）

表1 不同算法在3种数据集上的性能对比结果（20个客户端）

Tab. 1 Performance comparison results of different algorithms on three datasets （20 clients）

算法	MNIST				Fashion-MNIST				CIFAR-10
	$λ$ =0.3		$λ$ =0.6		$λ$ =0.3		$λ$ =0.6		$λ$ =0.3		$λ$ =0.6
	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss
FedAvg	82.96	0.479	86.66	0.371	63.41	1.037	67.19	0.858	40.95	1.722	47.09	1.445
FedProx	82.26	0.502	85.10	0.412	60.53	1.147	68.10	0.844	37.44	1.829	41.48	1.617
FedProto	81.61	0.076	96.69	0.040	65.37	0.134	85.34	0.102	75.55	0.153	84.28	0.014
FedGH	78.48	1.668	88.91	0.996	64.68	2.814	81.34	0.895	72.18	2.283	78.32	2.085
FedCross	97.80	0.066	97.77	0.067	89.30	0.287	89.43	0.285	88.19	0.258	88.94	0.268
FedPFA	98.12	0.047	98.86	0.006	90.82	0.614	92.40	0.302	88.33	0.047	89.19	0.001

表1 不同算法在3种数据集上的性能对比结果（20个客户端）

Tab. 1 Performance comparison results of different algorithms on three datasets （20 clients）

算法	MNIST				Fashion-MNIST				CIFAR-10
	$λ$ =0.3		$λ$ =0.6		$λ$ =0.3		$λ$ =0.6		$λ$ =0.3		$λ$ =0.6
	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss
FedAvg	82.96	0.479	86.66	0.371	63.41	1.037	67.19	0.858	40.95	1.722	47.09	1.445
FedProx	82.26	0.502	85.10	0.412	60.53	1.147	68.10	0.844	37.44	1.829	41.48	1.617
FedProto	81.61	0.076	96.69	0.040	65.37	0.134	85.34	0.102	75.55	0.153	84.28	0.014
FedGH	78.48	1.668	88.91	0.996	64.68	2.814	81.34	0.895	72.18	2.283	78.32	2.085
FedCross	97.80	0.066	97.77	0.067	89.30	0.287	89.43	0.285	88.19	0.258	88.94	0.268
FedPFA	98.12	0.047	98.86	0.006	90.82	0.614	92.40	0.302	88.33	0.047	89.19	0.001

图3 不同算法在3种数据集上的准确率和损失曲线对比（50个客户端）

Fig. 3 Accuracy and loss curve comparison of different algorithms on three datasets （50 clients）

表2 不同算法在3种数据集上的性能对比结果（50个客户端）

Tab. 2 Performance comparison results of different algorithms on three datasets （50 clients）

算法	MNIST				Fashion-MNIST				CIFAR-10
	$λ$ =0.3		$λ$ =0.6		$λ$ =0.3		$λ$ =0.6		$λ$ =0.3		$λ$ =0.6
	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss
FedAvg	80.30	0.586	82.66	0.539	65.11	0.984	69.10	0.891	43.05	1.561	47.09	1.423
FedProx	79.35	0.611	82.11	0.553	65.17	0.986	70.07	0.864	40.87	1.599	44.11	1.502
FedProto	88.40	0.153	96.22	0.079	79.80	0.177	88.61	0.118	83.77	0.189	86.91	0.039
FedGH	79.68	1.353	92.70	0.391	79.68	1.167	84.02	0.611	72.64	1.039	86.00	0.200
FedCross	97.02	0.087	97.54	0.082	95.35	0.144	95.45	0.142	87.05	0.330	87.19	0.323
FedPFA	97.21	0.059	98.59	0.004	96.36	0.085	96.63	0.057	87.64	0.046	88.22	0.001

表2 不同算法在3种数据集上的性能对比结果（50个客户端）

Tab. 2 Performance comparison results of different algorithms on three datasets （50 clients）

算法	MNIST				Fashion-MNIST				CIFAR-10
	$λ$ =0.3		$λ$ =0.6		$λ$ =0.3		$λ$ =0.6		$λ$ =0.3		$λ$ =0.6
	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss
FedAvg	80.30	0.586	82.66	0.539	65.11	0.984	69.10	0.891	43.05	1.561	47.09	1.423
FedProx	79.35	0.611	82.11	0.553	65.17	0.986	70.07	0.864	40.87	1.599	44.11	1.502
FedProto	88.40	0.153	96.22	0.079	79.80	0.177	88.61	0.118	83.77	0.189	86.91	0.039
FedGH	79.68	1.353	92.70	0.391	79.68	1.167	84.02	0.611	72.64	1.039	86.00	0.200
FedCross	97.02	0.087	97.54	0.082	95.35	0.144	95.45	0.142	87.05	0.330	87.19	0.323
FedPFA	97.21	0.059	98.59	0.004	96.36	0.085	96.63	0.057	87.64	0.046	88.22	0.001

图4 不同聚类数在3个数据集上的准确率和损失曲线对比（20个客户端，参与率为0.3）

Fig. 4 Accuracy and loss curve comparison of different cluster numbers on three datasets （20 clients， 0.3 participation rate）

表3 不同聚类数在3个数据集上的性能对比结果（20个客户端，参与率为0.3）

Tab. 3 Performance comparison results of different cluster numbers on three datasets （20 clients， 0.3 participation rate）

m	MNIST		Fashion-MNIST		CIFAR-10
m	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss
6	95.62	0.257	86.55	0.926	78.42	1.323
5	90.04	1.156	82.28	1.498	87.59	0.039
4	95.38	0.188	82.66	1.239	83.89	0.986
3	96.93	0.119	79.70	1.804	80.26	0.680
2	90.85	0.894	80.01	1.369	80.50	1.282

图5 不同聚类数在3个数据集上的准确率和损失曲线对比（50个客户端，参与率为0.3）

Fig. 5 Accuracy and loss curve comparison of different cluster numbers on three datasets （50 clients， 0.3 participation rate）

表4 不同聚类数在3个数据集上的性能对比结果（50个客户端，参与率为0.3）

Tab. 4 Performance comparison results of different cluster numbers on three datasets （50 clients， 0.3 participation rate）

m	MNIST		Fashion-MNIST		CIFAR-10
m	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss
15	89.71	0.474	88.80	0.580	84.45	0.248
12	90.91	0.568	85.31	0.844	80.96	0.547
9	96.76	0.123	86.23	0.803	85.49	0.177
7	95.74	0.159	89.41	0.415	81.71	0.383
5	89.13	0.542	87.41	0.596	83.40	0.258

图6 单独使用自适应加权融合算法的准确率和损失曲线对比

Fig. 6 Accuracy and loss curve comparison using adaptive weighted fusion algorithm alone

表5 单独使用自适应加权融合算法的性能对比结果

Tab. 5 Performance comparison results using adaptive weighted fusion algorithm alone

算法	MNIST		Fashion-MNIST		CIFAR-10
算法	Acc/%	Loss	Acc/%	Loss	Acc/%	Loss
FedAvg	82.96	0.479	63.41	1.037	40.95	1.722
FedProx	82.26	0.502	60.53	1.147	37.44	1.829
FedProto	81.61	0.076	65.37	0.134	75.55	0.153
FedGH	78.48	1.668	64.68	2.814	72.18	2.283
FedCross	97.80	0.066	89.30	0.287	88.19	0.258
FedPFA	95.13	0.230	86.90	0.491	87.59	0.071

表6 不同算法的运行时间对比

Tab. 6 Running time comparison of different algorithms

算法	$R 80$	$T 100$ /s
FedAvg	34	2 317.07
FedProx	45	2 829.78
FedProto	31	3 092.16
FedGH	48	2 669.11
FedCross	10	2 539.87
FedPFA	12	2 939.82

表6 不同算法的运行时间对比

Tab. 6 Running time comparison of different algorithms

算法	$R 80$	$T 100$ /s
FedAvg	34	2 317.07
FedProx	45	2 829.78
FedProto	31	3 092.16
FedGH	48	2 669.11
FedCross	10	2 539.87
FedPFA	12	2 939.82

参考文献 30

[1]	McMahan H B， Moore E， Ramage D， et al. Communication-efficient learning of deep networks from decentralized data ［J］. Proceedings of Machine Learning Research， 2017， 54： 1273-1282.
[2]	管桂林，陶政坪，支婷，等. 面向医疗场景的去中心化联邦学习隐私保护方法［J］. 计算机应用， 2024， 44（）： 112-117.
	Guan Guilin， Tao Zhengping， Zhi Ting， et al. Decentralized federated learning privacy protection method for medical scenarios ［J］. Journal of Computer Applications， 2024， 44（）： 112-117.
[3]	Ramaswamy S， Mathews R， Rao K， et al. Federated learning for emoji prediction in a mobile keyboard ［PP/OL］. arXiv （2019-06-11）［2025-04-12］..
[4]	陈泉. 联邦学习在工业物联网设备安全防护中的应用研究［J］. 中国宽带， 2025， 21（8）： 61-63.
	Chen Quan. Research on the application of federated learning in the security protection of industrial Internet of Things equipment ［J］. China Broadband， 2025， 21（8）： 61-63.
[5]	Mendieta M， Yang T， Wang P， et al. Local learning matters： rethinking data heterogeneity in federated learning ［C］// CVPR 2022. Piscataway： IEEE， 2022： 8387-8396.
[6]	田浩迪，张冠华，龙伟，等. 面向客户端数据异构性问题的联邦学习算法综述［J］. 计算机与网络， 2025， 51（3）： 246-252.
	Tian Haodi， Zhang Guanhua， Long Wei， et al. Survey of federated learning algorithms for client data heterogeneity problems ［J］. Computer and Network， 2025， 51（3）： 246-252.
[7]	Zawad S， Ali A， Chen P Y， et al. Curse or redemption？ how data heterogeneity affects the robustness of federated learning ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2021， 35（12）： 10807-10814.
[8]	Li T， Sahu A K， Zaheer M， et al. Federated optimization in heterogeneous networks ［EB/OL］. （2020）［2025-05-22］..
[9]	Karimireddy S P， Kale S， Mohri M， et al. SCAFFOLD： stochastic controlled averaging for federated learning ［J］. Proceedings of Machine Learning Research， 2020， 119： 5132-5143.
[10]	Acar D A E， Zhao Y， Navarro R M， et al. Federated learning based on dynamic regularization ［PP/OL］. V2. arXiv （2021-11-09）［2025-05-13］..
[11]	Li Q， He B， Song D. Model-contrastive federated learning ［C］// CVPR 2021. Piscataway： IEEE， 2021： 10708-10717.
[12]	Zhang J， Li Z， Li B， et al. Federated learning with label distribution skew via logits calibration ［J］. Proceedings of Machine Learning Research， 2022， 162： 26311-26329.
[13]	Sun Y， Mao Y， Zhang J. MimiC： combating client dropouts in federated learning by mimicking central updates ［J］. IEEE Transactions on Mobile Computing， 2024， 23（7）： 7572-7584.
[14]	Hu M， Zhou P， Yue Z， et al. FedCross： towards accurate federated learning via multi-model cross-aggregation ［C］// ICDE 2024. Piscataway： IEEE， 2024： 2137-2150.
[15]	EL-Rifai O， Ali M B， Megdiche I， et al. A survey on cluster-based federated learning ［PP/OL］. arXiv （2025-01-29）［2025-09-18］..
[16]	Duan M， Liu D， Ji X， et al. FedGroup： efficient federated learning via decomposed similarity-based clustering ［C］// ISPA/BDCloud/SocialCom/SustainCom 2021. Piscataway： IEEE， 2021： 228-237.
[17]	Wang Z， Xu H， Liu J， et al. Accelerating federated learning with cluster construction and hierarchical aggregation ［J］. IEEE Transactions on Mobile Computing， 2023， 22（7）： 3805-3822.
[18]	Zhou Y， Shi M， Tian Y， et al. Federated cINN clustering for accurate clustered federated learning ［C］// ICASSP 2024. Piscataway： IEEE， 2024： 5590-5594.
[19]	Tian P， Liao W， Yu W， et al. WSCC： a weight-similarity-based client clustering approach for non-IID federated learning ［J］. IEEE Internet of Things Journal， 2022， 9（20）： 20243-20256.
[20]	Liang T， Yuan C， Lu C， et al. Efficient one-off clustering for personalized federated learning ［J］. Knowledge-Based Systems， 2023， 277： No.110813.
[21]	Cai L， Chen N， Cao Y， et al. FedCE： personalized federated learning method based on clustering ensembles ［C］// MM 2023. New York： ACM， 2023： 1625-1633.
[22]	Al-Saedi A A， Boeva V， Casalicchio E. FedCO： communication-efficient federated learning via clustering optimization ［J］. Future Internet， 2022， 14（12）： No.377.
[23]	Li Y， Wang X， An L. Hierarchical clustering-based personalized federated learning for robust and fair human activity recognition［J］. Proceedings of the ACM on Interactive， Mobile， Wearable and Ubiquitous Technologies， 2023， 7（1）： No.20.
[24]	Tan Y， Long G， Liu L， et al. FedProto： federated prototype learning across heterogeneous clients ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2022， 36（8）： 8432-8440.
[25]	Dai Y， Chen Z， Li J， et al. Tackling data heterogeneity in federated learning with class prototypes ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2023， 37（6）： 7314-7322.
[26]	Mu X， Shen Y， Cheng K， et al. FedProc： prototypical contrastive federated learning on non-IID data ［J］. Future Generation Computer Systems， 2023， 143： 93-104.
[27]	Yi L， Wang G， Liu X， et al. FedGH： heterogeneous federated learning with generalized global header ［C］// MM 2023. New York： ACM， 2023： 8686-8696.
[28]	Chai L， Xie J， Zhou N. Prototype-based fine-tuning for mitigating data heterogeneity in federated learning ［J］. Future Generation Computer Systems， 2025， 170： No.107831.
[29]	Zhang J， Liu Y， Hua Y， et al. FedTGP： trainable global prototypes with adaptive-margin-enhanced contrastive learning for data and model heterogeneity in federated learning ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2024， 38（15）： 16768-16776.
[30]	Cheng D， Zhang L， Bu C， et al. ProtoHAR： prototype guided personalized federated learning for human activity recognition ［J］. IEEE Journal of Biomedical and Health Informatics， 2023， 27（8）： 3900-3911.

基于原型聚类和费舍尔信息矩阵加权融合的联邦学习算法

Federated learning algorithm based on prototype clustering and Fisher information matrix weighted fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 30

相关文章 15

编辑推荐

Metrics

[1]	金亚东, 范菁, 郗恩康, 董华, 俞浩, 孙伊航. 面向空天地一体化网络的个性化联邦学习智能边缘聚合方法[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2555-2566.
[2]	孙天乐, 曹腾飞. 车联网中基于Stackelberg博弈的联邦学习质量感知激励机制[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2229-2238.
[3]	钟琪, 张淑芬, 张镇博, 李涛. 基于梯度特征的联邦学习后门防御算法[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2184-2195.
[4]	任志强, 陈学斌, 屈昌盛. 面向联邦学习中拜占庭攻击的主动防御框架[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2196-2207.
[5]	董汦楗, 顾瑞春. 融合动态特征对齐与温度感知聚合的联邦学习框架[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1746-1755.
[6]	俞浩, 范菁, 郗恩康, 金亚东, 董华, 孙伊航. 边缘异构下的高效联邦分割学习框架HEFSL[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1397-1407.
[7]	姜志, 陈学斌, 罗长银, 甄子业. 联邦学习中改进Kolmogorov-Arnold网络的混合优化框架[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1023-1033.
[8]	马凯光, 陈学斌, 菅银龙, 王柳, 高远. 基于混合序列模型与联邦类平衡算法的网络入侵检测[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 857-866.
[9]	郗恩康, 范菁, 金亚东, 董华, 俞浩, 孙伊航. 联邦学习在隐私安全领域面临的威胁综述[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 798-808.
[10]	平欢, 夏战国, 刘思诚, 刘奇翰, 李春磊. 基于多层联邦学习的终端数据隐私保护方案[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 830-838.
[11]	王磊, 周文轩, 贾柠晖, 屈志昊. 面向隐私敏感物联网数据的联邦学习双向通信压缩[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 887-898.
[12]	钟琪, 张淑芬, 张镇博, 菅银龙, 景忠瑞. 面向联邦学习的投毒攻击检测与防御机制[J]. 《计算机应用》唯一官方网站, 2026, 46(2): 445-457.
[13]	张珂嘉, 方志军, 周南润, 史志才. 基于模型预分配与自蒸馏的个性化联邦学习方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 10-20.
[14]	菅银龙, 陈学斌, 景忠瑞, 钟琪, 张镇博. 联邦学习中基于条件生成对抗网络的数据增强方案[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 21-32.
[15]	俞浩, 范菁, 孙伊航, 金亚东, 郗恩康, 董华. 边缘异构下的联邦分割学习优化方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 33-42.