边缘计算下基于区块链的隐私保护联邦学习算法

doi:10.11772/j.issn.1001-9081.2022060909

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (7): 2209-2216.DOI: 10.11772/j.issn.1001-9081.2022060909

• 网络空间安全 • 上一篇

边缘计算下基于区块链的隐私保护联邦学习算法

陈宛桢¹, 张恩¹^,²(), 秦磊勇¹, 洪双喜¹^,²

^1.河南师范大学计算机与信息工程学院, 河南新乡 453007
^2.智慧商务与物联网技术河南省工程实验室(河南师范大学), 河南新乡 453007

收稿日期:2022-06-23 修回日期:2022-08-27 接受日期:2022-09-05 发布日期:2023-07-20 出版日期:2023-07-10
通讯作者: 张恩
作者简介:陈宛桢（1998—），女，河南南阳人，硕士研究生，主要研究方向：隐私保护机器学习；
张恩（1974—），男，河南新乡人，教授，博士，CCF会员，主要研究方向：安全多方计算；
秦磊勇（1997—），男，河南商丘人，硕士研究生，主要研究方向：安全多方计算；
洪双喜（1979—），男，河南新乡人，副教授，博士，主要研究方向：隐私保护机器学习。
基金资助:
国家自然科学基金资助项目(62002103);河南省科技攻关计划项目(212102210388);河南省软科学研究计划项目(212400410109)

Privacy-preserving federated learning algorithm based on blockchain in edge computing

Wanzhen CHEN¹, En ZHANG¹^,²(), Leiyong QIN¹, Shuangxi HONG¹^,²

^1.College of Computer and Information Engineering，Henan Normal University，Xinxiang Henan 453007，China
^2.Engineering Lab of Intelligence Business and Internet of Things of Henan Province （Henan Normal University），Xinxiang Henan 453007，China

Received:2022-06-23 Revised:2022-08-27 Accepted:2022-09-05 Online:2023-07-20 Published:2023-07-10
Contact: En ZHANG
About author:CHEN Wanzhen， born in 1998， M. S. candidate. Her research interests include privacy-preserving machine learning.
ZHANG En， born in 1974， Ph. D.， professor. His research interests include secure multi-party computation.
QIN Leiyong， born in 1997， M. S. candidate. His research interests include secure multi-party computation.
HONG Shuangxi， born in 1979， Ph. D.， associate professor. His research interests include privacy-preserving machine learning.
Supported by:
National Natural Science Foundation of China(62002103);Science and Technology Research Program of Henan Province(212102210388);Soft Science Research Program of Henan Province(212400410109)

摘要/Abstract

摘要：

针对在边缘计算（EC）场景下进行的联邦学习（FL）过程中存在的模型参数隐私泄露、不可信服务器可能返回错误的聚合结果以及参与训练的用户可能上传错误或低质量模型参数的问题，提出一种边缘计算下基于区块链的隐私保护联邦学习算法。在训练过程中，每个用户首先使用全局模型参数在其本地数据集上进行训练，并将训练得到的模型参数以秘密共享的方式上传至附近的边缘节点，从而实现对用户本地模型参数的保护；然后由边缘节点在本地计算它们所收到的模型参数的份额之间的欧氏距离，并将结果上传至区块链；最后由区块链负责对模型参数之间的欧氏距离进行重构，进而在去除有毒的更新后，再进行全局模型参数的聚合。通过安全分析证明了所提算法的安全性：即使在部分边缘节点合谋的情况下，用户的本地模型参数信息也不会泄露。同时实验结果表明该算法具有较高的准确率：在投毒样本比例为30%时，它的模型准确率为94.2%，接近没有投毒样本时的联邦平均（FedAvg）算法的模型准确率97.8%，而在投毒样本比例为30%时FedAvg算法的模型准确率下降至68.7%。

关键词: 边缘计算, 联邦学习, 区块链, 投毒攻击, 隐私保护

Abstract:

Aiming at the problems of the leakage of model parameters， that the untrusted server may return wrong aggregation results， and the users participating in training may upload wrong or low-quality model parameters in the process of federated learning in edge computing scenarios， a privacy-preserving federated learning algorithm based on blockchain in edge computing was proposed. In the training process， firstly， the global model parameters were trained on the local dataset of each user by the users， and the model parameters obtained by training were uploaded to neighboring edge nodes through secret sharing， thereby protecting the local model parameters of the users. Secondly， the Euclidean distances between the shares of model parameters received by the edge nodes were computed， and the results of these calculations were uploaded to the blockchain. Finally， the Euclidean distances between model parameters were reconstructed by the blockchain， and then the global model parameter was aggregated after removing the poisoned updates. The security analysis proves the security of the proposed algorithm： even in the case of collusion of a part of edge nodes， the users’ local model parameter information will not be leaked. At the same time， the experimental results show the high accuracy of this algorithm： the accuracy of the proposed algorithm is 94.2% when the proportion of poisoned samples is 30%， which is close to the accuracy of the Federated Averaging （FedAvg） algorithm without poisoned samples （97.8%）， and the accuracy of FedAvg algorithm is decreased to 68.7% when the proportion of poisoned samples is 30%.

Key words: Edge Computing (EC), Federated Learning (FL), blockchain, poisoning attack, privacy-preserving

中图分类号:

TP309.2

陈宛桢, 张恩, 秦磊勇, 洪双喜. 边缘计算下基于区块链的隐私保护联邦学习算法[J]. 计算机应用, 2023, 43(7): 2209-2216.

Wanzhen CHEN, En ZHANG, Leiyong QIN, Shuangxi HONG. Privacy-preserving federated learning algorithm based on blockchain in edge computing[J]. Journal of Computer Applications, 2023, 43(7): 2209-2216.

图/表 9

图1 网络模型

Fig. 1 Network model

图2 本文算法的流程

Fig. 2 Flowchart of the proposed algorithm

表1 符号与说明

Tab. 1 Symbols and descriptions

参数	含义
$m$	用户的数量
$n$	边缘节点的数量
$U I D i$	用户 $u i$ 的身份标识
$s k i$	用户 $u i$ 的私钥
$p k i$	用户 $u i$ 的公钥
$e s k k$	边缘节点 $e k$ 的私钥
$e p k k$	边缘节点 $e k$ 的公钥
$E I D k$	边缘节点 $e k$ 的身份标识
$T$	第 $T$ 轮训练
$Δ w G T$	第 $T$ 轮的全局模型参数
$Δ w i T + 1$	用户 $u i$ 在第 $T$ 轮的模型更新
$f i x$	用户 $u i$ 根据模型参数 $Δ w i T + 1$ 构造的秘密多项式
$f i a k$	用户 $u i$ 发给边缘节点 $e k$ 的份额
$u t i k$	用户 $u i$ 对 $f i a k$ 签名时的时间戳
$e t i j k$	边缘节点 $e k$ 对份额间的欧氏距离 $d i j k$ 签名时的时间戳

表1 符号与说明

Tab. 1 Symbols and descriptions

参数	含义
$m$	用户的数量
$n$	边缘节点的数量
$U I D i$	用户 $u i$ 的身份标识
$s k i$	用户 $u i$ 的私钥
$p k i$	用户 $u i$ 的公钥
$e s k k$	边缘节点 $e k$ 的私钥
$e p k k$	边缘节点 $e k$ 的公钥
$E I D k$	边缘节点 $e k$ 的身份标识
$T$	第 $T$ 轮训练
$Δ w G T$	第 $T$ 轮的全局模型参数
$Δ w i T + 1$	用户 $u i$ 在第 $T$ 轮的模型更新
$f i x$	用户 $u i$ 根据模型参数 $Δ w i T + 1$ 构造的秘密多项式
$f i a k$	用户 $u i$ 发给边缘节点 $e k$ 的份额
$u t i k$	用户 $u i$ 对 $f i a k$ 签名时的时间戳
$e t i j k$	边缘节点 $e k$ 对份额间的欧氏距离 $d i j k$ 签名时的时间戳

图3 准确率对比

Fig. 3 Accuracy comparison

图4 不同比例投毒用户下算法的对比

Fig. 4 Comparison of algorithms under different proportions of poisoned users

图5 在不同用户数量下每个阶段的时间消耗

Fig. 5 Time consumption for each phase under different numbers of users

图6 不同边缘节点数量下每个阶段的时间消耗

Fig. 6 Time consumption for each phase under different numbers of edge nodes

图7 不同算法运行时间对比

Fig. 7 Comparison of running time of different algorithms

表2 不同算法的功能对比

Tab. 2 Function comparison of different algorithms

算法	模型参数隐私	数据合法性和完整性认证	检测投毒	鲁棒性	避免单点故障问题
文献［7］算法	是	否	否	否	否
文献［18］算法	是	否	是	是	是
文献［20］算法	是	否	是	否	是
文献［27］算法	是	否	否	否	否
文献［28］算法	是	否	否	是	否
本文算法	是	是	是	是	是

参考文献 34

1	SHI W S， CAO J， ZHANG Q， et al. Edge computing： vision and challenges［J］. IEEE Internet of Things Journal， 2016， 3（5）： 637-646. 10.1109/jiot.2016.2579198
2	XU G W， LI H W， REN H， et al. Data security issues in deep learning： attacks， countermeasures and opportunities［J］. IEEE Communications Magazine， 2019， 57（11）： 116-122. 10.1109/mcom.001.1900091
3	SHOKRI R， SHMATIKOV V. Privacy-preserving deep learning ［C］// Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2015： 1310-1321. 10.1145/2810103.2813687
4	McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data ［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017： 1273-1282.
5	BONAWITZ K， IVANOV V， KREUTER B， et al. Practical secure aggregation for privacy-preserving machine learning ［C］// Proceedings of the 24th ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2017： 1175-1191. 10.1145/3133956.3133982
6	LIU L M， ZHANG J， SONG S H， et al. Client-edge-cloud hierarchical federated learning ［C］// Proceedings of the 2020 IEEE International Conference on Communications. Piscataway： IEEE， 2020： 1-6. 10.1109/icc40277.2020.9148862
7	JIANG Y L， ZHANG K， QIAN Y， et al. Efficient and privacy-preserving distributed learning in cloud-edge computing systems ［C］// Proceedings of the 3rd ACM Workshop on Wireless Security and Machine Learning. New York： ACM， 2021： 25-30. 10.1145/3468218.3469044
8	AL-RUBAIE M， CHANG J M. Privacy-preserving machine learning： threats and solutions［J］. IEEE Security and Privacy， 2019， 17（2）： 49-58. 10.1109/msec.2018.2888775
9	GEYER R C， KLEIN T， NABI M. Differentially private federated learning： a client level perspective［EB/OL］. （2018-03-01）［2022-06-10］. .
10	FREDRIKSON M， JHA S， RISTENPART T. Model inversion attacks that exploit confidence information and basic countermeasures ［C］// Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2015： 1322-1333. 10.1145/2810103.2813677
11	SUCIU O， MĂRGINEAN R， KAYA Y， et al. When does machine learning FAIL？ generalized transferability for evasion and poisoning attacks ［C］// Proceedings of the 27th USENIX Security Symposium. Berkeley： USENIX Association， 2018： 1299-1316.
12	刘艺璇，陈红，刘宇涵，等.联邦学习中的隐私保护技术［J］.软件学报， 2022， 33（3）： 1057-1092.
	LIU Y X， CHEN H， LIU Y H， et al. Privacy-preserving techniques in federated learning［J］. Journal of Software， 2022， 33（3）： 1057-1092.
13	董业，侯伟，陈小军，等.基于秘密分享和梯度选择的高效安全联邦学习［J］.计算机研究与发展， 2020， 57（10）： 2241-2250. 10.7544/issn1000-1239.2020.20200463
	DONG Y， HOU W， CHEN X J， et al. Efficient and secure federated learning based on secret sharing and gradients selection［J］. Journal of Computer Research and Development， 2020， 57（10）： 2241-2250. 10.7544/issn1000-1239.2020.20200463
14	PHONG L T， AONO Y， HAYASHI T， et al. Privacy-preserving deep learning via additively homomorphic encryption［J］. IEEE Transactions on Information Forensics and Security， 2018， 13（5）： 1333-1345. 10.1109/tifs.2017.2787987
15	MA Z R， MA J F， MIAO Y B， et al. Pocket diagnosis： secure learning against poisoning attack in the cloud［J］. IEEE Transactions on Services Computing， 2022， 15（6）： 3429-3442. 10.1109/tsc.2021.3090771
16	JIANG Z L， GUO H， PAN Y J， et al. Secure neural network in federated learning with model aggregation under multiple keys ［C］// Proceedings of the 8th IEEE International Conference on Cyber Security and Cloud Computing/ 7th IEEE International Conference on Edge Computing and Scalable Cloud. Piscataway： IEEE， 2021： 47-52. 10.1109/cscloud-edgecom52276.2021.00019
17	HUANG L Q， XU L， ZHU L H， et al. A blockchain-assisted privacy-preserving cloud computing method with multiple keys ［C］// Proceedings of the IEEE 6th International Conference on Smart Cloud. Piscataway： IEEE， 2021： 19-25. 10.1109/smartcloud52277.2021.00011
18	LIU H， ZHANG S P， ZHANG P F， et al. Blockchain and federated learning for collaborative intrusion detection in vehicular edge computing［J］. IEEE Transactions on Vehicular Technology， 2021， 70（6）： 6073-6084. 10.1109/tvt.2021.3076780
19	ABADI M， CHU A， GOODFELLOW I， et al. Deep learning with differential privacy ［C］// Proceedings of the 23rd ACM SIGSAC Conference on Computer and Communications Security. New York： ACM， 2016： 308-318. 10.1145/2976749.2978318
20	方晨，郭渊博，王一丰，等.基于区块链和联邦学习的边缘计算隐私保护方法［J］.通信学报， 2021， 42（11）： 28-40.
	FANG C， GUO Y B， WANG Y F， et al. Edge computing privacy protection method based on blockchain and federated learning［J］. Journal on Communications， 2021， 42（11）： 28-40.
21	HAO M， LI H W， XU G W， et al. Towards efficient and privacy-preserving federated deep learning ［C］// Proceedings of the 2019 IEEE International Conference on Communications. Piscataway： IEEE， 2019： 1-6. 10.1109/icc.2019.8761267
22	XIANG L Y， YANG J B， LI B C. Differentially-private deep learning from an optimization perspective ［C］// Proceedings of the 2019 IEEE Conference on Computer Communications. Piscataway： IEEE， 2019： 559-567. 10.1109/infocom.2019.8737494
23	HE L， KARIMIREDDY S P， JAGGI M. Secure Byzantine-robust machine learning［EB/OL］. （2020-10-18）［2022-06-01］. .
24	SO J， GÜLER B， AVESTIMEHR A S. Byzantine-resilient secure federated learning［J］. IEEE Journal on Selected Areas in Communications， 2021， 39（7）： 2168-2181. 10.1109/jsac.2020.3041404
25	LIU Y， PENG J L， KANG J W， et al. A secure federated learning framework for 5G networks［J］. IEEE Wireless Communications， 2020， 27（4）： 24-31. 10.1109/mwc.01.1900525
26	SHORT A R， LELIGOU H C， PAPOUTSIDAKIS M， et al. Using blockchain technologies to improve security in federated learning systems ［C］// Proceedings of the IEEE 44th Annual Computers， Software， and Applications Conference. Piscataway： IEEE， 2020： 1183-1188. 10.1109/compsac48688.2020.00-96
27	ZHOU C Y， FU A M， YU S， et al. Privacy-preserving federated learning in fog computing［J］. IEEE Internet of Things Journal， 2020， 7（11）： 10782-10793. 10.1109/jiot.2020.2987958
28	KU H C， SUSILO W， ZHANG Y D， et al. Privacy-preserving federated learning in medical diagnosis with homomorphic re-Encryption［J］. Computer Standards and Interfaces， 2022， 80： No.103583. 10.1016/j.csi.2021.103583
29	MA X， ZHANG F G， CHEN X F， et al. Privacy preserving multi-party computation delegation for deep learning in cloud computing［J］. Information Sciences， 2018， 459： 103-116. 10.1016/j.ins.2018.05.005
30	SHAMIR A. How to share a secret［J］. Communications of the ACM， 1979， 22（11）： 612-613. 10.1145/359168.359176
31	BONEH D， GENTRY C， LYNN B， et al. Aggregate and verifiably encrypted signatures from bilinear maps ［C］// Proceedings of the 2003 International Conference on the Theory and Applications of Cryptographic Techniques， LNCS 2656. Berlin： Springer， 2003： 416-432.
32	ZHAO Y， ZHAO J， JIANG L S， et al. Privacy-preserving blockchain-based federated learning for IoT devices［J］. IEEE Internet of Things， 2021， 8（3）： 1817-1829. 10.1109/jiot.2020.3017377
33	BLANCHARD P， MHAMDI E M EL， GUERRAOUI R， et al. Machine learning with adversaries： Byzantine tolerant gradient descent ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 118-128.
34	SHEN S Q， TOPLE S， SAXENA P. AUROR： defending against poisoning attacks in collaborative deep learning systems ［C］// Proceedings of the 32nd Annual Computer Security Applications Conference. New York： ACM， 2016： 508-519. 10.1145/2991079.2991125

[1]	黄硕, 李艳辉, 曹建秋. 本地化差分隐私下的频繁序列模式挖掘算法PrivSPM[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2057-2064.
[2]	蓝梦婕, 蔡剑平, 孙岚. 非独立同分布数据下的自正则化联邦学习优化方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2073-2081.
[3]	李校林, 江雨桑. 无人机辅助移动边缘计算中的任务卸载算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1893-1899.
[4]	林尚静, 马冀, 庄琲, 李月颖, 李子怡, 李铁, 田锦. 基于联邦学习的无线通信流量预测[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1900-1909.
[5]	陈璐瑀, 马小峰, 何敬, 龚生智, 高建. 基于TrustZone的区块链智能合约隐私授权方法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1969-1978.
[6]	金柯君, 于洪涛, 吴翼腾, 李邵梅, 张建朋, 郑洪浩. 改进的基于奇异值分解的图卷积网络防御方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1511-1517.
[7]	曹腾飞, 刘延亮, 王晓英. 基于改进深度强化学习的边缘计算服务卸载算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1543-1550.
[8]	曹萌, 余孙婕, 曾辉, 史红周. 基于区块链的医疗数据分级访问控制与共享系统[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1518-1526.
[9]	翟冉, 陈学斌, 张国鹏, 裴浪涛, 马征. 基于不同敏感度的改进K-匿名隐私保护算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1497-1503.
[10]	尹春勇, 屈锐. 基于个性化差分隐私的联邦学习算法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1160-1168.
[11]	王亦涵, 唐晨, 张兰. 大宗商品防欺诈抗篡改线上交易机制[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1309-1317.
[12]	郝劭辰, 卫孜钻, 马垚, 于丹, 陈永乐. 基于高效联邦学习算法的网络入侵检测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1169-1175.
[13]	童俊成, 赵波. 区块链智能合约漏洞检测与自动化修复综述[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 785-793.
[14]	尹春勇, 李荧. 基于BCU-Tree与字典的高效用挖掘快速脱敏算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 413-422.
[15]	梁捷, 郝晓燕, 陈永乐. 面向视觉分类模型的投毒攻击[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 467-473.

边缘计算下基于区块链的隐私保护联邦学习算法

Privacy-preserving federated learning algorithm based on blockchain in edge computing

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 34

相关文章 15

编辑推荐

Metrics