基于双流神经网络的个性化联邦学习方法

doi:10.11772/j.issn.1001-9081.2023081207

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (8): 2319-2325.DOI: 10.11772/j.issn.1001-9081.2023081207

• 人工智能 • 下一篇

基于双流神经网络的个性化联邦学习方法

沈哲远, 杨珂珂, 李京()

中国科学技术大学计算机科学与技术学院，合肥 230027

收稿日期:2023-09-06 修回日期:2023-11-07 接受日期:2023-11-13 发布日期:2024-08-22 出版日期:2024-08-10
通讯作者: 李京
作者简介:沈哲远（1998—），男，浙江嘉兴人，硕士研究生，主要研究方向：联邦学习
杨珂珂（1994—），女，河南洛阳人，博士研究生，主要研究方向：联邦学习
李京（1966—），男，北京人，教授，博士生导师，博士，主要研究方向：分布式系统、区块链、高性能计算。lj@ustc.edu.cn
基金资助:
中国科学院战略性先导科技专项（A类）(XDA19020102)

Personalized federated learning method based on dual stream neural network

Zheyuan SHEN, Keke YANG, Jing LI()

School of Computer Science and Technology，University of Science and Technology of China，Hefei Anhui 230027，China

Received:2023-09-06 Revised:2023-11-07 Accepted:2023-11-13 Online:2024-08-22 Published:2024-08-10
Contact: Jing LI
About author:SHEN Zheyuan， born in 1998， M. S. candidate. His researchinterests include federated learning.
YANG Keke ， born in 1994， Ph. D. candidate. Her researchinterests include federated learning.
LI Jing ，born in 1966， Ph. D. ， professor. His research interestsinclude distributed system， blockchain， high performance computing.
Supported by:
This work is partially supported by Strategic Priority ResearchProgram of Chinese Academy of Sciences（ Type A）（ XDA19020102）.

摘要/Abstract

摘要：

经典的联邦学习（FL）算法在数据高度异构的场景下难以取得较好的效果。个性化联邦学习（PFL）针对数据异构问题，提出新的解决方案，即为每个客户端“量身定做”专属模型，这样模型会拥有较好的性能；然而同时会引出难以将FL扩展到新客户端上的问题。针对PFL中的性能与扩展的难题展开研究，提出基于双流神经网络结构的联邦学习模型，简称FedDual。双流神经网络模型通过增加一个用于分析客户端个性化特征的编码器，既能拥有个性化模型的性能，又便于扩展到新客户端。实验结果表明，相较于经典联邦平均（FedAvg）算法，FedDual在MNIST和FashionMNIST等数据集上的准确率有明显提升，而在CIFAR10数据集上的准确率提升了10个百分点以上，且面对新客户端保持准确率不下降，实现了“即插即用”，解决了新客户端难以扩展的问题。

关键词: 联邦学习, 个性化联邦学习, 数据异构, 双流神经网络, 新客户端问题

Abstract:

Classic Federated Learning （FL） algorithms are difficult to achieve good results in scenarios where data is highly heterogeneous. In Personalized FL （PFL）， a new solution was proposed aiming at the problem of data heterogeneity in federated learning， which is to “tailor” a dedicated model for each client. In this way， the models had good performance. However， it brought the difficulty in extending federated learning to new clients at the same time. Focusing on the challenges of performance and scalability in PFL， FedDual， a FL model with dual stream neural network structure， was proposed. By adding an encoder for analyzing the personalized characteristics of clients， this model was not only able to have the performance of personalized models， but also able to be extended to new clients easily. Experimental results show that compared to the classic Federated Averaging （FedAvg） algorithm on datasets such as MNIST and FashionMNIST， FedDual obviously improves the accuracy； on CIFAR10 dataset， FedDual improves the accuracy by more than 10 percentage points， FedDual achieves “plug and play” for new clients without decrease of the accuracy， solving the problem of difficult scalability for new clients.

Key words: Federated Learning (FL), Personalized Federated Learning (PFL), data heterogeneity, dual stream neural network, new client problem

中图分类号:

TP181

沈哲远, 杨珂珂, 李京. 基于双流神经网络的个性化联邦学习方法[J]. 计算机应用, 2024, 44(8): 2319-2325.

Zheyuan SHEN, Keke YANG, Jing LI. Personalized federated learning method based on dual stream neural network[J]. Journal of Computer Applications, 2024, 44(8): 2319-2325.

图/表 10

图1 联邦学习优化算法归纳总结

Fig. 1 Summary of federated learning optimization algorithms

图2 clip模型结构

Fig. 2 Structure of clip model

图3 双流神经网络结构

Fig. 3 Structure of dual stream neural network

图4 两种向量合并算法

Fig. 4 Two vector merging algorithms

图5 不同优化算法在CIFAR10数据集的验证集上的准确率收敛曲线

Fig. 5 Accuracy convergence curves of different optimization algorithms on validation set of CIFAR10 dataset

表1 不同客户端数下优化算法的准确率对比

Tab. 1 Accuracy comparison of optimization algorithms under different client numbers

算法	准确率
算法	M=20	M=50
FedAvg	0.736 2	0.668 9
FedProx	0.732 0	0.668 2
FedMax	0.766 5	0.712 5
LG-FedAvg	0.794 4	0.741 5
FedALA	0.713 1	0.706 1
FedDual（均匀）	0.760 7	0.721 6
FedDual（伪标签）	0.822 0	0.782 0
FedDual（训练集）	0.840 7	0.823 0

表2 在（0.2，50，10）条件下，不同数据集上优化算法的准确率对比

Tab. 2 Accuracy comparison of optimization algorithms on different datasets under （0.2，50，10） condition

数据集	算法	准确率
CIFAR10	FedAvg	0.643 5
	FedProx	0.640 0
	FedMax	0.639 7
	LG-FedAvg	0.731 9
	FedALA	0.802 8
	FedDual（均匀）	0.689 9
	FedDual（伪标签）	0.823 2
	FedDual（训练集）	0.822 5
MNIST	FedAvg	0.979 8
	FedProx	0.980 1
	FedMax	0.981 4
	LG-FedAvg	0.983 5
	FedALA	0.990 8
	FedDual（均匀）	0.979 9
	FedDual（伪标签）	0.989 0
	FedDual（训练集）	0.989 0
FashionMNIST	FedAvg	0.843 4
	FedProx	0.843 0
	FedMax	0.860 0
	LG-FedAvg	0.858 4
	FedALA	0.953 5
	FedDual（均匀）	0.833 8
	FedDual（伪标签）	0.882 2
	FedDual（训练集）	0.925 0

表3 新客户端下FedDual模型的表现

Tab. 3 Model performance of FedDual under new clients

算法	准确率
算法	$α$ =0.5	$α$ =0.2
FedAvg	0.668 9	0.643 5
FedDual	0.7820	0.823 2
FedDual（新客户端）	0.778 2	0.8421

表3 新客户端下FedDual模型的表现

Tab. 3 Model performance of FedDual under new clients

算法	准确率
算法	$α$ =0.5	$α$ =0.2
FedAvg	0.668 9	0.643 5
FedDual	0.7820	0.823 2
FedDual（新客户端）	0.778 2	0.8421

图6 特征向量H*的t-SNE可视化降维

Fig. 6 t-SNE visualization of feature vector H* for dimensionality reduction

图7 不同合并算法在CIFAR10数据集上的准确率对比

Fig. 7 Accuracy comparison of different merging algorithms on CIFAR10 dataset

参考文献 33

1	McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.
2	顾育豪，白跃彬. 联邦学习模型安全与隐私研究进展［J］. 软件学报， 2023， 34（6）：2833-2864.
	GU Y H， BAI Y B. Survey on security and privacy of federated learning models［J］. Journal of Software， 2023， 34（6）： 2833-2864.
3	RIEKE N， HANCOX J， LI W， et al. The future of digital health with federated learning［J］. NPJ Digital Medicine， 2020， 3： No.119.
4	NGUYEN D C， PHAM Q V， PATHIRANA P N， et al. Federated learning for smart healthcare： a survey［J］. ACM Computing Surveys， 2023， 55（3）： No.60.
5	XU J， GLICKSBERG B S， SU C， et al. Federated learning for healthcare informatics［J］. Journal of Healthcare Informatics Research， 2021， 5（1）： 1-19.
6	HAO M， LI H， LUO X， et al. Efficient and privacy-enhanced federated learning for industrial artificial intelligence［J］. IEEE Transactions on Industrial Informatics， 2020， 16（10）： 6532-6542.
7	LI Y， TAO X， ZHANG X， et al. Privacy-preserved federated learning for autonomous driving［J］. IEEE Transactions on Intelligent Transportation Systems， 2022， 23（7）： 8423-8434.
8	LIANG X， LIU Y， CHEN T， et al. Federated transfer reinforcement learning for autonomous driving［M］// RAZAVI-FAR R， WANG B， TAYLOR M E， et al. Federated and Transfer Learning. Cham： Springer， 2023： 357-371.
9	KAIROUZ P， McMAHAN H B， AVENT B， et al. Advances and open problems in federated learning［J］. Foundations and Trends® in Machine Learning， 2021， 14（1/2）： 1-210.
10	JIANG M， WANG Z， DOU Q. HarmoFL： harmonizing local and global drifts in federated learning on heterogeneous medical images［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2022： 1087-1095.
11	TAN A Z， YU H， CUI L， et al. Towards personalized federated learning［J］. IEEE Transactions on Neural Networks and Learning Systems， 2023， 34（12）：9587-9603.
12	LI T， SAHU A K， ZAHEER M， et al. Federated optimization in heterogeneous networks［C/OL］// Proceedings of the 3rd Machine Learning and Systems ［2023-06-26］..
13	CHEN W， BHARDWAJ K， MARCULESCU R. FedMAX： mitigating activation divergence for accurate and communication-efficient federated learning［C］// Proceedings of the 2020 Joint European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 12458. Cham： Springer， 2021： 348-363.
14	WANG J， LIU Q， LIANG H， et al. Tackling the objective inconsistency problem in heterogeneous federated optimization［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020： 7611-7623.
15	LI X C， ZHAN D C. FedRS： federated learning with restricted Softmax for label distribution Non-IID data［C］// Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2021： 995-1005.
16	DESCHÊNES D， WITTNER M， DI STEFANO A， et al. Collecting duct is a site of sodium retention in PAN nephrosis： a rationale for amiloride therapy［J］. Journal of the American Society of Nephrology， 2001， 12（3）： 598-601.
17	李志鹏，国雍，陈耀佛，等. 基于数据生成的类别均衡联邦学习［J］. 计算机学报， 2023， 46（3）：609-625.
	LI Z P， GUO Y， CHEN Y F， et al. Class-balanced federated learning based on data generation［J］. Chinese Journal of Computers， 2023， 46（3）：609-625.
18	LIANG P P， LIU T， LIU Z， et al. Think locally， act globally： federated learning with local and global representations［EB/OL］. （2020-07-14）［2023-06-26］..
19	COLLINS L， HASSANI H， MOKHTARI A， et al. Exploiting shared representations for personalized federated learning［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 2089-2099.
20	LI X， JIANG M， ZHANG X， et al. FedBN： federated learning on Non-IID features via local batch normalization［EB/OL］. （2021-05-11）［2023-06-26］..
21	TAN Y， LONG G， LIU L， et al. FedProto： federated prototype learning across heterogeneous clients［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2022： 8432-8440.
22	LI X C， ZHAN D C， SHAO Y， et al. FedPHP： federated personalization with inherited private models［C］// Proceedings of the Joint European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 12975. Cham： Springer， 2021： 587-602.
23	SHAMSIAN A， NAVON A， FETAYA E， et al. Personalized federated learning using hypernetworks［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 9489-9502.
24	LI H， CAI Z， WANG J， et al. FedTP： federated learning by Transformer personalization［J］. IEEE Transactions on Neural Networks and Learning Systems， 2023（Early Access）：1-16.
25	TASHAKORI A， ZHANG W， WANG Z J， et al. SemiPFL： personalized semi-supervised federated learning framework for edge intelligence［J］. IEEE Internet of Things Journal， 2023， 10（10）： 9161-9171.
26	ZHANG J， HUA Y， WANG H， et al. FedALA： adaptive local aggregation for personalized federated learning［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2023： 11237-11244.
27	高雨佳，王鹏飞，刘亮，等. 基于注意力增强元学习网络的个性化联邦学习方法［J］. 计算机研究与发展， 2024， 61（1）：196-208.
	GAO Y J， WANG P F， LIU L， et al. Personalized federated learning method based on attention-enhanced meta-learning network［J］. Journal of Computer Research and Development， 2024， 61（1）：196-208.
28	SIMONYAN K， ZISSERMAN A. Two-stream convolutional networks for action recognition in videos［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 568-576.
29	RADFORD A， KIM J W， HALLACY C， et al. Learning transferable visual models from natural language supervision［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 8748-8763.
30	LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.
31	XIAO H， RASUL K， VOLLGRAF R. Fashion-MNIST： a novel image dataset for benchmarking machine learning algorithms［EB/OL］. ［2023-06-26］..
32	KRIZHEVSKY A. Learning multiple layers of features from tiny images［EB/OL］. （2009-04-08）［2023-06-26］..
33	HSU T M H， QI H， BROWN M. Measuring the effects of non-identical data distribution for federated visual classification［EB/OL］. ［2023-06-26］..

[1]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[2]	罗玮, 刘金全, 张铮. 融合秘密分享技术的双重纵向联邦学习框架[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1872-1879.
[3]	陈学斌, 任志强, 张宏扬. 联邦学习中的安全威胁与防御措施综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1663-1672.
[4]	余孙婕, 曾辉, 熊诗雨, 史红周. 基于生成式对抗网络的联邦学习激励机制[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 344-352.
[5]	张祖篡, 陈学斌, 高瑞, 邹元怀. 基于标签分类的联邦学习客户端选择方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3759-3765.
[6]	巫婕, 钱雪忠, 宋威. 基于相似度聚类和正则化的个性化联邦学习[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3345-3353.
[7]	陈学斌, 屈昌盛. 面向联邦学习的后门攻击与防御综述[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3459-3469.
[8]	张帅华, 张淑芬, 周明川, 徐超, 陈学斌. 基于半监督联邦学习的恶意流量检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3487-3494.
[9]	尹春勇, 周永成. 双端聚类的自动调整聚类联邦学习[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3011-3020.
[10]	周辉, 陈玉玲, 王学伟, 张洋文, 何建江. 基于生成对抗网络的联邦学习深度影子防御方案[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 223-232.
[11]	蓝梦婕, 蔡剑平, 孙岚. 非独立同分布数据下的自正则化联邦学习优化方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2073-2081.
[12]	陈宛桢, 张恩, 秦磊勇, 洪双喜. 边缘计算下基于区块链的隐私保护联邦学习算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2209-2216.
[13]	林尚静, 马冀, 庄琲, 李月颖, 李子怡, 李铁, 田锦. 基于联邦学习的无线通信流量预测[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1900-1909.
[14]	郝劭辰, 卫孜钻, 马垚, 于丹, 陈永乐. 基于高效联邦学习算法的网络入侵检测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1169-1175.
[15]	尹春勇, 屈锐. 基于个性化差分隐私的联邦学习算法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1160-1168.

基于双流神经网络的个性化联邦学习方法

Personalized federated learning method based on dual stream neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 33

相关文章 15

编辑推荐

Metrics