非独立同分布数据下的自正则化联邦学习优化方法

doi:10.11772/j.issn.1001-9081.2022071122

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (7): 2073-2081.DOI: 10.11772/j.issn.1001-9081.2022071122

所属专题：第39届CCF中国数据库学术会议(NDBC 2022)

• 第39届CCF中国数据库学术会议(NDBC 2022) • 上一篇下一篇

非独立同分布数据下的自正则化联邦学习优化方法

蓝梦婕, 蔡剑平(), 孙岚

福州大学计算机与大数据学院，福州 350108

收稿日期:2022-07-12 修回日期:2022-08-15 接受日期:2022-08-17 发布日期:2023-07-20 出版日期:2023-07-10
通讯作者: 蔡剑平
作者简介:蓝梦婕（1998—），女，福建三明人，硕士研究生，CCF学生会员，主要研究方向：联邦学习、差分隐私；
蔡剑平（1990—），男，福建漳州人，博士研究生，主要研究方向：差分隐私、联邦学习、机器学习；
孙岚（1978—），女，福建福州人，讲师，硕士，主要研究方向：数据安全、隐私保护。

Self-regularization optimization methods for Non-IID data in federated learning

Mengjie LAN, Jianping CAI(), Lan SUN

College of Computer and Data Science，Fuzhou University，Fuzhou Fujian 350108，China

Received:2022-07-12 Revised:2022-08-15 Accepted:2022-08-17 Online:2023-07-20 Published:2023-07-10
Contact: Jianping CAI
About author:LAN Mengjie， born in 1998， M. S. candidate. Her research interests include federated learning， differential privacy.
CAI Jianping， born in 1990， Ph. D. candidate. His research interests include differential privacy， federated learning， machine learning.
SUN Lan， born in 1978， M. S.， lecturer. Her research interests include data security， privacy protection.

摘要/Abstract

摘要：

联邦学习（FL）是一种新的分布式机器学习范式，它在保护设备数据隐私的同时打破数据壁垒，从而使各方能在不共享本地数据的前提下协作训练机器学习模型。然而，如何处理不同客户端的非独立同分布（Non-IID）数据仍是FL面临的一个巨大挑战，目前提出的一些解决方案没有利用好本地模型和全局模型的隐含关系，无法简单而高效地解决问题。针对FL中不同客户端数据的Non-IID问题，提出新的FL优化算法——联邦自正则（FedSR）和动态联邦自正则（Dyn-FedSR）。FedSR在每一轮训练过程中引入自正则化惩罚项动态修改本地损失函数，并通过构建本地模型和全局模型的关系来让本地模型靠近聚合丰富知识的全局模型，从而缓解Non-IID数据带来的客户端偏移问题；Dyn-FedSR则在FedSR基础上通过计算本地模型和全局模型的相似度来动态确定自正则项系数。对不同任务进行的大量实验分析表明，FedSR和Dyn-FedSR这两个算法在各种场景下的表现都明显优于联邦平均（FedAvg）算法、联邦近端（FedProx）优化算法和随机控制平均算法（SCAFFOLD）等FL算法，能够实现高效通信，正确率较高，且对不平衡数据和不确定的本地更新具有鲁棒性。

关键词: 联邦学习, 非独立同分布, 客户端偏移, 正则化, 分布式机器学习, 隐私保护

Abstract:

Federated Learning （FL） is a new distributed machine learning paradigm that breaks down data barriers and protects data privacy at the same time， thereby enabling clients to collaboratively train a machine learning model without sharing local data. However， how to deal with Non-Independent Identical Distribution （Non-IID） data from different clients remains a huge challenge faced by FL. Some existing proposed solutions to this problem do not utilize the implicit relationship between local and global models to solve the problem simply and efficiently. To address the Non-IID issue of different clients in FL， novel FL optimization algorithms including Federated Self-Regularization （FedSR） and Dynamic Federated Self-Regularization （Dyn-FedSR） were proposed. In FedSR， self-regularization penalty terms were introduced in each training round to modify the local loss function dynamically， and by building a relationship between the local and the global models， the local model was closer to the global model that aggregates rich knowledge， thereby alleviating the client drift problem caused by Non-IID data. In Dyn-FedSR， the self-regularization term coefficient was determined dynamically by calculating the similarity between the local and global models. Extensive experimental analyses on different tasks demonstrate that the two algorithms， FedSR and Dyn-FedSR， significantly outperform the state-of-the-art FL algorithms such as Federated Averaging （FedAvg） algorithm， Federated Proximal （FedProx） optimization algorithm and Stochastic Controlled Averaging algorithm （SCAFFOLD） in various scenarios， and can achieve efficient communication and high accuracy， as well as the robustness to imbalanced data and uncertain local updates.

Key words: Federated Learning (FL), Non-Independent Identical Distribution (Non-IID), client drift, regularization, distributed machine learning, privacy-preserving

中图分类号:

TP391

蓝梦婕, 蔡剑平, 孙岚. 非独立同分布数据下的自正则化联邦学习优化方法[J]. 计算机应用, 2023, 43(7): 2073-2081.

Mengjie LAN, Jianping CAI, Lan SUN. Self-regularization optimization methods for Non-IID data in federated learning[J]. Journal of Computer Applications, 2023, 43(7): 2073-2081.

图/表 15

图1 联邦学习的基本流程

Fig. 1 Basic flow of federated learning

图2 联邦学习中标签分布倾斜的Non-IID问题

Fig. 2 Non-IID problem with label distribution skew in federated learning

图3 联邦学习中Non-IID场景中的客户端偏移问题

Fig. 3 Client drift problem in Non-IID scenario in federated learning

图4 FedSR整体框架

Fig. 4 Overall framework of FedSR

图5 全局模型和本地模型在MNIST数据集上的分类差异

Fig. 5 Classification difference between global model and local model on MNIST dataset

表1 实验参数

Tab. 1 Experimental parameters

变量名	描述	默认值
$η$	学习率	0.01
$B$	batch size	64
$E$	本地更新Epoch次数	20
$M$	客户端总数	1 000
$S t$	第 $t$ 轮选中的客户端集	10
$R$	训练总轮次	200
$β$	狄利克雷分布参数	0.5

表1 实验参数

Tab. 1 Experimental parameters

变量名	描述	默认值
$η$	学习率	0.01
$B$	batch size	64
$E$	本地更新Epoch次数	20
$M$	客户端总数	1 000
$S t$	第 $t$ 轮选中的客户端集	10
$R$	训练总轮次	200
$β$	狄利克雷分布参数	0.5

图6 客户端连续参与两次训练的间隔轮次的概率密度分布

Fig. 6 Probability density distribution of interval rounds between two successive training participated by client

图7 不同Non-IID程度下的客户端数据分布

Fig. 7 Data distribution of clients under different Non-IID levels

表2 不同Non-IID程度下的正确率比较

Tab. 2 Accuracy comparison under different Non-IID levels

数据集	$β$	正确率/%
数据集	$β$	FedAvg	FedProx	SCAFFOLD	FedSR	Dyn-FedSR
MNIST	$0.3$	88.58	88.45	88.58	89.28	89.35
	$0.5$	89.33	88.87	89.32	89.91	89.83
	$0.7$	89.70	89.35	89.64	90.17	90.13
Fashion-MNIST	$0.3$	70.32	76.86	71.52	81.19	81.10
	$0.5$	78.58	78.40	78.54	81.12	81.10
	$0.7$	81.63	81.70	82.08	81.78	81.80
EMNIST	$0.3$	47.15	47.02	47.55	54.65	54.18
	$0.5$	56.51	56.43	56.19	61.68	61.49
	$0.7$	57.59	58.55	58.34	63.38	63.52
CIFAR-10	$0.3$	38.59	39.23	39.12	40.17	40.07
	$0.5$	40.25	40.27	41.38	42.55	42.61
	$0.7$	41.35	41.72	41.43	43.03	43.38

表2 不同Non-IID程度下的正确率比较

Tab. 2 Accuracy comparison under different Non-IID levels

数据集	$β$	正确率/%
数据集	$β$	FedAvg	FedProx	SCAFFOLD	FedSR	Dyn-FedSR
MNIST	$0.3$	88.58	88.45	88.58	89.28	89.35
	$0.5$	89.33	88.87	89.32	89.91	89.83
	$0.7$	89.70	89.35	89.64	90.17	90.13
Fashion-MNIST	$0.3$	70.32	76.86	71.52	81.19	81.10
	$0.5$	78.58	78.40	78.54	81.12	81.10
	$0.7$	81.63	81.70	82.08	81.78	81.80
EMNIST	$0.3$	47.15	47.02	47.55	54.65	54.18
	$0.5$	56.51	56.43	56.19	61.68	61.49
	$0.7$	57.59	58.55	58.34	63.38	63.52
CIFAR-10	$0.3$	38.59	39.23	39.12	40.17	40.07
	$0.5$	40.25	40.27	41.38	42.55	42.61
	$0.7$	41.35	41.72	41.43	43.03	43.38

图8 默认参数设置下不同通信轮次的测试集正确率

Fig. 8 Test set accuracy in different communication rounds under default parameter setting

图9 消融实验结果

Fig. 9 Ablation experiment results

表3 默认参数设置下的通信效率比较

Tab. 3 Communication efficiency comparison under default parameter setting

算法	MNIST		Fashion-MNIST		EMNIST		CIFAR-10
算法	轮次	加速比	轮次	加速比	轮次	加速比	轮次	加速比
FedAvg	100	1.00	100	1.00	100	1.00	100	1.00
FedProx	76	1.32	66	1.52	82	1.22	73	1.37
SCAFFOLD	70	1.43	61	1.64	92	1.09	73	1.37
FedSR	66	1.52	40	2.50	80	1.25	55	1.82
Dyn-FedSR	61	1.64	34	2.94	73	1.37	61	1.64

图10 不同β下达到基准正确率需要的通信轮次

Fig. 10 Communication rounds needed to reach benchmark accuracy under different β

图11 不同本地更新次数E对正确率的影响

Fig. 11 Influence of different number of local epochs E on accuracy

表4 不同训练间隔对正确率的影响

Tab. 4 Influence of different training interval on accuracy

训练间隔轮次	正确率/%
训练间隔轮次	FedSR	Dyn-FedSR	FedAvg
55	89.91	89.83	89.33
25	88.50	88.45	88.36
14	87.51	87.46	87.43
9	87.10	87.05	86.94

参考文献 20

1	McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data ［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.
2	TAN B， LIU B， ZHENG V， et al. A federated recommender system for online services ［C］// Proceedings of the 14th ACM Conference on Recommender Systems. New York： ACM， 2020： 579-581. 10.1145/3383313.3411528
3	MUHAMMAD K， WANG Q Q， O’REILLY-MORGAN D， et al. FedFast： going beyond average for faster training of federated recommender systems ［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2020： 1234-1242. 10.1145/3394486.3403176
4	CHEN Y Q， QIN X， WANG J D， et al. FedHealth： a federated transfer learning framework for wearable healthcare［J］. IEEE Intelligent Systems， 2020， 35 （4）： 83-93. 10.1109/mis.2020.2988604
5	BRISIMI T S， CHEN R D， MELA T， et al. Federated learning of predictive models from federated electronic health records［J］. International Journal of Medical Informatics， 2018， 112： 59-67. 10.1016/j.ijmedinf.2018.01.007
6	JIANG J C， KANTARCI B， OKTUG S， et al. Federated learning in smart city sensing： challenges and opportunities［J］. Sensors， 2020， 20 （21）： No.6230. 10.3390/s20216230
7	KAIROUZ P， McMAHAN H B， AVENT B， et al. Advances and open problems in federated learning［J］. Foundations and Trends in Machine Learning， 2021， 14 （1/2）： 1-210.
8	LI X， HUANG K X， YANG W H， et al. On the convergence of FedAvg on Non-IID data［EB/OL］. （2020-06-25）［2022-05-06］. .
9	GAO D S， LIU Y， HUANG A B， et al. Privacy-preserving heterogeneous federated transfer learning ［C］// Proceedings of the 2019 IEEE International Conference on Big Data. Piscataway： IEEE， 2019： 2552-2559. 10.1109/bigdata47090.2019.9005992
10	LIU Y， KANG Y， XING C P， et al. A secure federated transfer learning framework［J］. IEEE Intelligent Systems， 2020， 35 （4）： 70-82. 10.1109/mis.2020.2988525
11	SMITH V， CHIANG C K， SANJABI M， et al. Federated multi-task learning ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 4427-4437.
12	JIANG Y H， KONEČNÝ J， RUSH K， et al. Improving federated learning personalization via model agnostic meta learning［EB/OL］. （2019-09-27）［2022-05-06］. .
13	KHODAK M， BALCAN M F F， TALWALKAR A. Adaptive gradient-based meta-learning methods ［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2019： 5917-5928.
14	FALLAH A， MOKHTARI A， OZDAGLAR A. Personalized federated learning with theoretical guarantees： a model-agnostic meta-learning approach ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2020： 3557-3568.
15	ZHAO Y， LI M， LAI L Z， et al. Federated learning with non-IID data［EB/OL］. （2022-07-21）［2022-08-06］. .
16	LI T， SAHU A K， ZAHEER M， et al. Federated optimization in heterogeneous networks［C/OL］// Proceedings of the 3rd Machine Learning and Systems Conference ［2022-05-06］. . 10.1109/ieeeconf44664.2019.9049023
17	KARIMIREDDY S P， KALE S， MOHRI M， et al. SCAFFOLD： stochastic controlled averaging for federated learning ［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 5132-5143.
18	LI Q B， HE B S， SONG D. Model-contrastive federated learning ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 10708-10717. 10.1109/cvpr46437.2021.01057
19	ACAR D A E， ZHAO Y， NAVARRO R M， et al. Federated learning based on dynamic regularization［EB/OL］. （2021-11-09）［2022-08-06］. .
20	WANG J Y， LIU Q H， LIANG H， et al. Tackling the objective inconsistency problem in heterogeneous federated optimization ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2020： 7611-7623.

[1]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[2]	沈哲远, 杨珂珂, 李京. 基于双流神经网络的个性化联邦学习方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2319-2325.
[3]	罗玮, 刘金全, 张铮. 融合秘密分享技术的双重纵向联邦学习框架[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1872-1879.
[4]	陈学斌, 任志强, 张宏扬. 联邦学习中的安全威胁与防御措施综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1663-1672.
[5]	刘沛骞, 王水莲, 申自浩, 王辉. 基于轨迹扰动和路网匹配的位置隐私保护算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1546-1554.
[6]	高改梅, 张瑾, 刘春霞, 党伟超, 白尚旺. 基于区块链与CP-ABE策略隐藏的众包测试任务隐私保护方案[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 811-818.
[7]	马海峰, 李玉霞, 薛庆水, 杨家海, 高永福. 用于实现区块链隐私保护的属性基加密方案[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 485-489.
[8]	余孙婕, 曾辉, 熊诗雨, 史红周. 基于生成式对抗网络的联邦学习激励机制[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 344-352.
[9]	高瑞, 陈学斌, 张祖篡. 面向部分图更新的动态社交网络隐私发布方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3831-3838.
[10]	贾淼, 姚中原, 祝卫华, 高婷婷, 斯雪明, 邓翔. 零知识证明赋能区块链的进展与展望[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3669-3677.
[11]	张祖篡, 陈学斌, 高瑞, 邹元怀. 基于标签分类的联邦学习客户端选择方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3759-3765.
[12]	王伊婷, 万武南, 张仕斌, 张金全, 秦智. 基于SM9算法的可链接环签名方案[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3709-3716.
[13]	梁静, 万武南, 张仕斌, 张金全, 秦智. 面向主从链的慈善系统溯源存储模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3751-3758.
[14]	方鹏, 赵凡, 王保全, 王轶, 蒋同海. 区块链3.0的发展、技术与应用[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3647-3657.
[15]	王一帆, 林绍福, 李云江. 基于区块链和零知识证明的高速公路自由流收费方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3741-3750.

非独立同分布数据下的自正则化联邦学习优化方法

Self-regularization optimization methods for Non-IID data in federated learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 20

相关文章 15

编辑推荐

Metrics