融合动态特征对齐与温度感知聚合的联邦学习框架

doi:10.11772/j.issn.1001-9081.2025050661

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (6): 1746-1755.DOI: 10.11772/j.issn.1001-9081.2025050661

融合动态特征对齐与温度感知聚合的联邦学习框架

董汦楗, 顾瑞春()

内蒙古科技大学数智产业学院，内蒙古包头 014010

收稿日期:2025-06-23 修回日期:2025-08-18 接受日期:2025-08-26 发布日期:2025-09-16 出版日期:2026-06-10
通讯作者: 顾瑞春
作者简介:董汦楗（2000—），男，河南三门峡人，硕士研究生，主要研究方向：联邦学习
第一联系人：顾瑞春（1982—），男，内蒙古包头人，副教授，高级工程师，博士，CCF会员，研究方向：联邦学习、区块链、边缘智能。
基金资助:
内蒙古自然科学基金资助项目(2021LHMS06003);内蒙古高校基本科研业务费专项资金资助项目(114)

Federated learning framework integrating dynamic feature alignment and temperature-aware aggregation

Zhijian DONG, Ruichun GU()

School of Digital and Intelligent Industry，Inner Mongolia University of Science and Technology，Baotou Inner Mongolia 014010，China

Received:2025-06-23 Revised:2025-08-18 Accepted:2025-08-26 Online:2025-09-16 Published:2026-06-10
Contact: Ruichun GU
About author:DONG Zhijian， born in 2000， M. S. candidate. His research interests include federated learning.
First author contact:GU Ruichun， born in 1982， Ph. D.， associate professor， senior engineer. His research interests include federated learning， blockchain， edge intelligence.
Supported by:
Inner Mongolia Natural Science Foundation(2021LHMS06003);Fundamental Research Funds for the Universities in Inner Mongolia(114)

摘要/Abstract

摘要：

为了解决联邦学习中非独立同分布（Non-IID）数据下统计异质性导致的模型性能退化问题，提出一种融合动态特征对齐与温度感知聚合的联邦学习框架（FedDTA）。该框架通过动态特征对齐和温度感知聚合协同优化客户端漂移，包含2个核心组件：基于切片Wasserstein距离（SWD）的动态正则化方法，利用低维蒙特卡洛投影实现局部-全局特征分布对齐，从而降低计算复杂度并抑制特征偏移；结合可学习投影网络与退火温度调度的分层聚合策略，基于参数差异动态分配客户端权重。实验结果表明，在强异质性（Dirichlet α=0.1）条件下，相较于次优的FedKTL（Federated Knowledge-Transfer-Loop）和FedCMD（Federated learning with Contrastive cloud-edge Model Decoupling），FedDTA在CIFAR-10与CIFAR-100数据集上准确率分别提升了1.698与0.714个百分点。可见，FedDTA在多数据场景下具有更优的泛化能力。消融实验结果验证了SWD对齐显著减少了特征漂移，而温度调度优化平衡了探索与利用。FedDTA框架无需暴露原始数据，能为医疗协作和工业物联网等隐私敏感场景提供了理论与技术支持。

关键词: 联邦学习, 统计异质性, 非独立同分布数据, 特征对齐, 切片Wasserstein距离, 分层聚合策略

Abstract:

To address the degradation of model performance caused by statistical heterogeneity under Non-Independent and Identically Distributed （Non-IID） data in federated learning， a Federated learning framework integrating Dynamic feature alignment and Temperature-aware Aggregation （FedDTA） was proposed. In the framework， client drifts were mitigated through dynamic feature alignment and temperature-aware aggregation collaboratively. It has two core components： a dynamic regularization approach based on Sliced Wasserstein Distance （SWD） was used to achieve local-global feature distribution alignment via low-dimensional Monte Carlo projections， thereby reducing computational complexity and suppressing feature drifts； a hierarchical aggregation strategy incorporating a learnable projection network with annealing temperature scheduling was used to allocate client weights dynamically according to parameter differences. Experimental results indicate that under strong heterogeneity （Dirichlet α=0.1） condition， in accuracy， FedDTA outperforms suboptimal FedKTL（Federated Knowledge-Transfer-Loop） and FedCMD （Federated learning with Contrastive cloud-edge Model Decoupling） by 1.698 and 0.714 percentage points on the CIFAR-10 and CIFAR-100 datasets， respectively， demonstrating superior generalization capability in multi-data scenarios. Ablation experimental results confirm that SWD alignment reduces feature drifts significantly， while temperature scheduling optimization balances the exploration with exploitation. Without exposing raw data， FedDTA provides theoretical and methodological supports for privacy-sensitive scenarios such as medical collaboration and the industrial Internet of Things.

Key words: federated learning, statistical heterogeneity, Non-Independent and Identically Distributed (Non-IID) data, feature alignment, Sliced Wasserstein Distance (SWD), hierarchical aggregation strategy

中图分类号:

TP181

董汦楗, 顾瑞春. 融合动态特征对齐与温度感知聚合的联邦学习框架[J]. 计算机应用, 2026, 46(6): 1746-1755.

Zhijian DONG, Ruichun GU. Federated learning framework integrating dynamic feature alignment and temperature-aware aggregation[J]. Journal of Computer Applications, 2026, 46(6): 1746-1755.

图/表 11

图1 Non-IID场景下的客户端漂移现象

Fig. 1 Client drift phenomenon in Non-IID scenario

图2 FedDTA的系统架构

Fig. 2 FedDTA system architecture

表1 主要符号

Tab. 1 Main symbols

符号	含义
t，T	t为循环轮次， $t = 0,1, ⋯, T$
k，K	k为客户端数， $k = 0,1, ⋯, K$
$λ (t)$ ， $λ 0$	动态正则化系数和初始正则化强度
$D k$ ， $D g$	客户端本地数据分布和全局数据分布
μ，ν	特征空间的概率分布， μ为全局分布，ν为客户端局部分布
$θ *$	全局最优解
$θ k (t)$	第k个客户端在第t轮的本地模型参数
$f θ g (t) (x k)$	第k个客户端第t轮全局模型损失函数
$f θ k b a s e (x k)$	第k个客户端的本地损失函数
$∇ f θ k b a s e (x)$	客户端k的梯度
Γ（μ，ν）	边缘分布为μ和ν的所有联合分布集合
d（x，y）	点x和y之间的距离（如欧氏距离）
p	阶数，常用p=1或p=2
$τ (t)$	温度系数
τ_init，τ_final	初始温度值和最终温度值
$λ m i n (H)$	Hessian最小特征值（假设强凸）
$ε$ （t）	特征对齐误差界
γ	温度衰减率
β	方差敏感因子，调节客户端贡献差异对温度的影响程度，抑制离群客户端干扰

表1 主要符号

Tab. 1 Main symbols

符号	含义
t，T	t为循环轮次， $t = 0,1, ⋯, T$
k，K	k为客户端数， $k = 0,1, ⋯, K$
$λ (t)$ ， $λ 0$	动态正则化系数和初始正则化强度
$D k$ ， $D g$	客户端本地数据分布和全局数据分布
μ，ν	特征空间的概率分布， μ为全局分布，ν为客户端局部分布
$θ *$	全局最优解
$θ k (t)$	第k个客户端在第t轮的本地模型参数
$f θ g (t) (x k)$	第k个客户端第t轮全局模型损失函数
$f θ k b a s e (x k)$	第k个客户端的本地损失函数
$∇ f θ k b a s e (x)$	客户端k的梯度
Γ（μ，ν）	边缘分布为μ和ν的所有联合分布集合
d（x，y）	点x和y之间的距离（如欧氏距离）
p	阶数，常用p=1或p=2
$τ (t)$	温度系数
τ_init，τ_final	初始温度值和最终温度值
$λ m i n (H)$	Hessian最小特征值（假设强凸）
$ε$ （t）	特征对齐误差界
γ	温度衰减率
β	方差敏感因子，调节客户端贡献差异对温度的影响程度，抑制离群客户端干扰

图3 ATA与传统权重分配策略的对比

Fig. 3 Comparison of ATA and traditional weight allocation strategy

表2 数据集的统计信息

Tab. 2 Statistical information of datasets

数据集	样本数	类别数	图像尺寸	描述	发表年份	训练集样本数	测试集样本数
CIFAR-10	60 000	10	32×32	自然物体RGB图像（10大类）	2009	45 000	15 000
CIFAR-100	60 000	100	32×32	自然物体RGB图像（100小类）	2009	45 000	15 000
EMNIST	814 255	47	28×28	扩展手写字母与数字灰度图像	2017	61 069	20 356
FMNIST	70 000	10	28×28	时尚商品灰度图像	2017	52 500	17 500
MNIST	70 000	10	28×28	手写数字灰度图像	1998	52 500	17 500
SVHN	99 289	10	32×32	街景门牌号RGB图像	2011	74 467	24 822

表3 不同α值时LeNet5模型的分类准确率

Tab.3 Classification accuracies of LeNet5 model at different α values

α	方法	不同数据集上的分类准确率/%
α	方法	CIFAR-10	CIFAR-100	EMNIST	FMNIST	MNIST	SVHN
0.1	FedAvg	24.235	13.743	75.770	77.976	94.723	68.704
	FedProx	28.502	12.796	74.059	79.216	93.406	69.968
	FedPer	81.604	36.714	93.847	95.259	97.896	92.709
	FedRep	84.809	36.812	94.192	94.923	97.472	91.077
	FedDyn	27.804	13.255	74.782	78.932	94.301	72.369
	PFedSim	81.878	38.281	94.401	96.315	99.026	93.297
	FedALA	87.022	45.960	94.627	95.562	99.093	93.957
	FedKTL	87.263	46.942	94.759	96.547	99.125	94.536
	FedCMD	87.159	47.847	94.233	96.496	99.171	94.951
	FedDTA	88.961	48.561	95.835	96.972	99.339	95.562
0.5	FedAvg	44.512	17.352	81.816	83.726	96.066	82.317
	FedProx	44.865	16.683	81.441	83.441	95.936	81.910
	FedPer	61.567	16.910	88.030	89.661	97.694	87.485
	FedRep	63.621	15.768	88.563	89.254	96.394	83.377
	FedDyn	43.921	16.487	81.902	83.708	97.027	82.568
	PFedSim	61.350	22.358	90.052	89.803	97.966	88.324
	FedALA	68.463	25.932	88.725	90.463	98.004	88.981
	FedKTL	70.472	27.116	89.791	91.038	98.293	89.771
	FedCMD	70.910	27.533	89.473	91.855	98.524	89.862
	FedDTA	73.096	29.334	89.909	91.983	98.762	91.147
1.0	FedAvg	44.989	17.224	82.634	83.908	96.950	83.069
	FedProx	44.561	15.430	82.127	84.529	95.936	82.489
	FedPer	56.639	12.393	84.364	88.212	96.587	86.155
	FedRep	55.266	10.298	84.075	85.733	94.586	82.247
	FedDyn	45.461	16.849	82.581	83.870	96.078	81.570
	PFedSim	56.056	16.977	86.537	88.562	97.594	87.560
	FedALA	60.492	18.624	86.436	88.968	97.741	88.902
	FedKTL	64.025	20.584	85.634	89.296	97.982	88.752
	FedCMD	64.160	21.971	85.499	89.336	98.149	89.056
	FedDTA	66.209	23.916	87.289	90.218	98.345	89.848

图4 消融实验结果

Fig. 4 Ablation experiment results

表4 不同客户端参与率下各算法在不同数据集上的分类准确率对比 (%)

Tab.4 Comparison of classification accuracy of different algorithms under different client participation rates

算法	CIFAR-10			CIFAR-100			SVHN
算法	R=10%	R=30%	R=50%	R=10%	R=30%	R=50%	R=10%	R=30%	R=50%
FedAvg	24.235	25.232	25.125	13.743	14.176	14.570	68.704	69.358	69.628
FedProx	28.502	28.938	29.248	12.796	12.327	12.213	69.968	70.054	70.761
FedPer	81.604	81.952	82.425	36.714	36.849	37.432	92.709	92.896	92.513
FedRep	84.809	84.580	84.820	36.812	36.452	36.765	91.077	91.594	91.251
FedDyn	27.804	28.188	28.643	13.255	13.259	13.689	72.369	73.073	73.761
PFedSim	81.878	82.650	82.953	38.281	38.001	38.649	93.297	93.176	94.302
FedALA	87.022	87.325	87.536	45.960	46.213	46.334	93.957	94.441	94.792
FedKTL	87.263	88.712	88.754	46.942	47.495	48.120	94.536	94.968	95.302
FedCMD	87.159	88.689	88.933	47.847	48.204	48.443	94.951	95.120	95.358
FedDTA	88.961	89.017	89.271	48.561	48.850	49.272	94.899	95.308	95.516

表5 超参数τ对算法分类准确率的影响

Tab. 5 Impact of hyperparameter τ on classification accuracy of algorithm

$τ$	不同数据集上的分类准确率/%
$τ$	CIFAR-10	CIFAR-100	SVHN
3	88.283	47.974	95.287
5	88.961	48.561	95.562
7	88.460	48.185	95.328
9	88.239	47.925	95.245
10	88.208	48.234	95.098

表5 超参数τ对算法分类准确率的影响

Tab. 5 Impact of hyperparameter τ on classification accuracy of algorithm

$τ$	不同数据集上的分类准确率/%
$τ$	CIFAR-10	CIFAR-100	SVHN
3	88.283	47.974	95.287
5	88.961	48.561	95.562
7	88.460	48.185	95.328
9	88.239	47.925	95.245
10	88.208	48.234	95.098

表6 不同特征对齐距离的平均计算时间与模型分类准确率比较

Tab. 6 Comparison of average calculation time and model classification accuracy with different feature alignment distances

距离方法	平均时间/s	加速比	准确率/%
Wasserstein	1.702 2	1.00	89.017
SWD	1.089 8	1.56	88.899
MMD	1.122 0	1.52	87.352
Cosine	0.295 0	5.77	84.912

图5 Wasserstein距离与SWD每轮计算时间分布的箱型图

Fig.5 Box plot of per round computation time distribution for Wasserstein distance and SWD

参考文献 32

[1]	OpenAI. GPT-4 technical report［EB/OL］. ［2025-07-09］..
[2]	南方都市报. Equifax信息泄露案落幕：七亿赔款，索赔期限延四年［EB/OL］. ［2025-04-28］..
	Southern Metropolis Daily. Equifax data leakage case comes to an end： $700 million in compensation， with claim period extended by four years［EB/OL］. ［2025-04-28］..
[3]	南方都市报. 泄露全球超3亿人数据后，万豪酒店支付3.67亿元达成和解［EB/OL］. ［2025-04-28］..
	Southern Metropolis Daily. After leaking data of more than 300 million people globally， Marriott Hotel pays RMB 367 million to reach a settlement［EB/OL］. ［2025-04-28］..
[4]	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
[5]	赵钰莹. 对话微众银行：联邦学习在金融领域的实践方法及落地建议［EB/OL］. ［2025-04-28］..
	ZHAO Y Y. Dialogue with WeBank： practical methods and implementation suggestions of federated learning in the financial field［EB/OL］. ［2025-04-28］..
[6]	KARIMIREDDY S P， KALE S， MOHRI M， et al. SCAFFOLD： stochastic controlled averaging for federated learning［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 5132-5143.
[7]	KHALED A， MISHCHENKO K， RICHTÁRIK P. Tighter theory for local SGD on identical and heterogeneous data［C］// Proceedings of the 23rd International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2020： 4519-4529.
[8]	俞浩，范菁，孙伊航，等. 联邦学习统计异质性综述［J］. 计算机应用， 2025， 45（9）： 2737-2746.
	YU H， FAN J， SUN Y H， et al. Survey of statistical heterogeneity in federated learning［J］. Journal of Computer Applications， 2025， 45（9）： 2737-2746.
[9]	LI T， SAHU A K， ZAHEER M， et al. Federated optimization in heterogeneous networks［EB/OL］. ［2025-07-09］..
[10]	ACAR D A E， ZHAO Y， NAVARRO R M， et al. Federated learning based on dynamic regularization［EB/OL］. ［2025-07-09］..
[11]	ARIVAZHAGAN M G， AGGARWAL V， SINGH A K， et al. Federated learning with personalization layers ［EB/OL］. ［2025-07-09］..
[12]	KORNBLITH S， NOROUZI M， LEE H， et al. Similarity of neural network representations revisited［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 3519-3529.
[13]	CHEN X， DU T， WANG M， et al. Towards optimal customized architecture for heterogeneous federated learning with contrastive cloud-edge model decoupling［J］. IEEE Transactions on Computers， 2025， 74（4）： 1123-1137.
[14]	LEE C Y， BATRA T， BAIG M H， et al. Sliced Wasserstein discrepancy for unsupervised domain adaptation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 10277-10287.
[15]	McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.
[16]	LI T， HU S， BEIRAMI A， et al. Ditto： fair and robust federated learning through personalization［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 6357-6368.
[17]	DENG Y， KAMANI M M， MAHDAVI M. Adaptive personalized federated learning［EB/OL］. ［2025-07-09］..
[18]	ZHANG J， HUA Y， WANG H， et al. FedALA： adaptive local aggregation for personalized federated learning［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2023： 11237-11244.
[19]	ZHANG M， SAPRA K， FIDLER S， et al. Personalized federated learning with first order model optimization［EB/OL］. ［2025-07-09］..
[20]	WU C， WU F， LYU L， et al. Communication-efficient federated learning via knowledge distillation［J］. Nature Communications， 2022， 13： No.2032.
[21]	TAN Y， LONG G， LIU L， et al. FedProto： federated prototype learning across heterogeneous clients［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 8432-8440.
[22]	ZHANG J， LIU Y， HUA Y， et al. An upload-efficient scheme for transferring knowledge from a server-side pre-trained generator to clients in heterogeneous federated learning［C］// Proceedings of the 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2024： 12109-12119.
[23]	LI X， JIANG M， ZHANG X， et al. FedBN： federated learning on non-IID features via local batch normalization［EB/OL］. ［2025-07-09］..
[24]	ZHANG J， HUA Y， WANG H， et al. FedCP： separating feature information for personalized federated learning via conditional policy［C］// Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2023： 3249-3261.
[25]	LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.
[26]	KRIZHEVSKY A. Learning multiple layers of features from tiny images［R/OL］. ［2024-03-06］..
[27]	CHRABASZCZ P， LOSHCHILOV I， HUTTER F. A downsampled variant of ImageNet as an alternative to the CIFAR datasets［EB/OL］. ［2025-07-09］..
[28]	XIAO H， RASUL K， VOLLGRAF R. Fashion-MNIST： a novel image dataset for benchmarking machine learning algorithms ［EB/OL］. ［2025-07-09］..
[29]	NETZER Y， WANG T， COATES A， et al. Reading digits in natural images with unsupervised feature learning［EB/OL］. ［2025-07-09］..
[30]	COLLINS L， HASSANI H， MOKHTARI A， et al. Exploiting shared representations for personalized federated learning［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 2089-2099.
[31]	TAN J， ZHOU Y， LIU G， et al. pFedSim： similarity-aware model aggregation towards personalized federated learning［EB/OL］. ［2025-04-28］..
[32]	LUO M， CHEN F， HU D P， et al. No fear of heterogeneity： classifier calibration for federated learning with non-IID data［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2021： 5972-5984.

融合动态特征对齐与温度感知聚合的联邦学习框架

Federated learning framework integrating dynamic feature alignment and temperature-aware aggregation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 32

相关文章 15

编辑推荐

Metrics

[1]	俞浩, 范菁, 郗恩康, 金亚东, 董华, 孙伊航. 边缘异构下的高效联邦分割学习框架HEFSL[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1397-1407.
[2]	姜志, 陈学斌, 罗长银, 甄子业. 联邦学习中改进Kolmogorov-Arnold网络的混合优化框架[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1023-1033.
[3]	王德龙, 汪颢懿, 张青川, 宋泽羲. 基于文本‒图像双通道特征门控融合机制的多模态事件抽取[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1077-1085.
[4]	平欢, 夏战国, 刘思诚, 刘奇翰, 李春磊. 基于多层联邦学习的终端数据隐私保护方案[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 830-838.
[5]	王磊, 周文轩, 贾柠晖, 屈志昊. 面向隐私敏感物联网数据的联邦学习双向通信压缩[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 887-898.
[6]	马凯光, 陈学斌, 菅银龙, 王柳, 高远. 基于混合序列模型与联邦类平衡算法的网络入侵检测[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 857-866.
[7]	郗恩康, 范菁, 金亚东, 董华, 俞浩, 孙伊航. 联邦学习在隐私安全领域面临的威胁综述[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 798-808.
[8]	钟琪, 张淑芬, 张镇博, 菅银龙, 景忠瑞. 面向联邦学习的投毒攻击检测与防御机制[J]. 《计算机应用》唯一官方网站, 2026, 46(2): 445-457.
[9]	张珂嘉, 方志军, 周南润, 史志才. 基于模型预分配与自蒸馏的个性化联邦学习方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 10-20.
[10]	菅银龙, 陈学斌, 景忠瑞, 钟琪, 张镇博. 联邦学习中基于条件生成对抗网络的数据增强方案[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 21-32.
[11]	俞浩, 范菁, 孙伊航, 金亚东, 郗恩康, 董华. 边缘异构下的联邦分割学习优化方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 33-42.
[12]	俞浩, 范菁, 孙伊航, 董华, 郗恩康. 联邦学习统计异质性综述[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2737-2746.
[13]	苏锦涛, 葛丽娜, 肖礼广, 邹经, 王哲. 联邦学习中针对后门攻击的检测与防御方案[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2399-2408.
[14]	葛丽娜, 王明禹, 田蕾. 联邦学习的高效性研究综述[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2387-2398.
[15]	张宏扬, 张淑芬, 谷铮. 面向个性化与公平性的联邦学习算法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2123-2131.