基于联邦增量学习的工业物联网数据共享方法

doi:10.11772/j.issn.1001-9081.2021071182

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (4): 1235-1243.DOI: 10.11772/j.issn.1001-9081.2021071182

• CCF第36届中国计算机应用大会 (CCF NCCA 2021) • 上一篇

基于联邦增量学习的工业物联网数据共享方法

刘晶¹^,²^,³, 董志红¹, 张喆语¹, 孙志刚⁴, 季海鹏²^,³^,⁵()

^1.河北工业大学人工智能与数据科学学院，天津 300401
^2.河北省数据驱动工业智能工程研究中心（河北工业大学），天津 300401
^3.天津开发区精诺瀚海数据科技有限公司，天津 300401
^4.长城汽车股份有限公司天津哈弗分公司，天津 300462
^5.河北工业大学材料科学与工程学院，天津 300401

收稿日期:2021-07-08 修回日期:2021-09-03 接受日期:2021-09-06 发布日期:2021-09-18 出版日期:2022-04-10
通讯作者: 季海鹏
作者简介:刘晶（1979—），女，内蒙古包头人，研究员，博士，CCF高级会员，主要研究方向：工业人工智能
董志红（1987—），男，河北邯郸人，硕士研究生，主要研究方向：大数据与智能计算、联邦学习
张喆语（1997—），男，黑龙江哈尔滨人，硕士研究生，主要研究方向：大数据与智能计算、区块链
孙志刚（1982—），男，河北保定人，助理工程师，主要研究方向：精益生产制造
基金资助:
河北省自然科学基金资助项目(F2019202062)

Data sharing method of industrial internet of things based on federal incremental learning

Jing LIU¹^,²^,³, Zhihong DONG¹, Zheyu ZHANG¹, Zhigang SUN⁴, Haipeng JI²^,³^,⁵()

^1.School of Artificial Intelligence，Hebei University of Technology，Tianjin 300401，China
^2.Hebei Data Driven Industrial Intelligent Engineering Research Center （Hebei University of Technology），Tianjin 300401，China
^3.Tianjin Development Zone Jingnuo Data Technology Company Limited，Tianjin 300401，China
^4.Tianjin HAVEL Branch，Tianjin Great Wall Motor Company Limited，Tianjin 300462，China
^5.School of Materials Science and Engineering，Hebei University of Technology，Tianjin 300401，China

Received:2021-07-08 Revised:2021-09-03 Accepted:2021-09-06 Online:2021-09-18 Published:2022-04-10
Contact: Haipeng JI
About author:LIU Jing， born in 1979， Ph. D.， research fellow. Her research interests include industrial artificial intelligence.
DONG Zhihong， born in 1987， M. S. candidate. His research interests include big data and intelligent computing， federated learning.
ZHANG Zheyu， born in 1997， M. S. candidate. His research interests include big data and intelligent computing， blockchain.
SUN Zhigang， born in 1982， assistant engineer. His research interests include lean manufacturing.
Supported by:
Hebei Natural Science Foundation(F2019202062)

摘要/Abstract

摘要：

针对工业物联网（IIOT）新增数据量大、工厂子端数据量不均衡的问题，提出了一种基于联邦增量学习的IIOT数据共享方法（FIL-IIOT）。首先，将行业联合模型下发到工厂子端作为本地初始模型；然后，提出联邦优选子端算法来动态调整参与子集；最后，通过联邦增量学习算法计算出工厂子端的增量加权，从而使新增状态数据与原行业联合模型快速融合。实验结果表明，在美国凯斯西储大学（CWRU）轴承故障数据集上，所提FIL-IIOT使轴承故障诊断精度达到93.15%，比联邦均值（FedAvg）算法和无增量公式的FIL-IIOT（FIL-IIOT-NI）方法分别提高了6.18个百分点和2.59个百分点，满足了基于工业增量数据的行业联合模型持续优化的需求。

关键词: 工业物联网（IIOT）, 联邦学习, 增量学习, 数据不均衡, 优选子端

Abstract:

In view of the large amount of new data in the Industrial Internet Of Things（IIOT） and the imbalance of data at the factory sub-ends， a data sharing method of IIOT based on Federal Incremental Learning （FIL-IIOT） was proposed. Firstly， the industry federation model was distributed to the factory sub-end as the local initial model. Then， the federal sub-end optimization algorithm was proposed to dynamically adjust the participating subset. Finally， the incremental weight of the factory sub-end was calculated through the federal incremental learning algorithm， thereby integrating the new state data with the original industry federation model quickly. Experimental results the Case Western Reserve University （CWRU） bearing failure dataset show that the proposed FIL-IIOT makes the accuracy of bearing fault diagnosis reached 93.15%， which is 6.18 percentage points and 2.59 percentage points higher than those of Federated Averaging （FedAvg） algorithm and FIL-IIOT of Non Increment （FIL-IIOT-NI） method， respectively. The proposed method meets the needs of continuous optimization of industry federation model based on industrial incremental data.

Key words: Industrial Internet Of Things (IIOT), federated learning, incremental learning, data imbalance, optimized sub-end

中图分类号:

TP391.77

刘晶, 董志红, 张喆语, 孙志刚, 季海鹏. 基于联邦增量学习的工业物联网数据共享方法[J]. 计算机应用, 2022, 42(4): 1235-1243.

Jing LIU, Zhihong DONG, Zheyu ZHANG, Zhigang SUN, Haipeng JI. Data sharing method of industrial internet of things based on federal incremental learning[J]. Journal of Computer Applications, 2022, 42(4): 1235-1243.

图/表 15

参考文献 22

1	李明时，马跃，尹震宇，等.一种多重冗余的工业物联网智能产线安全通信模型设计［J］.小型微型计算机系统，2021，42（3）：621-626. 10.3969/j.issn.1000-1220.2021.03.030
	LI M S， MA Y， YIN Z Y， et al. Design of a multi-redundant secure communication model for intelligent production line of industrial Internet of things［J］. Journal of Chinese Computer Systems， 2021， 42（3）：621-626. 10.3969/j.issn.1000-1220.2021.03.030
2	张君如，赵晓焱，袁培燕.面向用户隐私保护的联邦安全树算法［J］. 计算机应用，2020，40（10）：2980-2985.
	ZHANG J R， ZHAO X Y， YUAN P Y. Federated security tree algorithm for user privacy protection［J］. Journal of Computer Applications， 2020， 40（10）：2980-2985.
3	罗长银，陈学斌，马春地，等.面向区块链的在线联邦增量学习算法［J］.计算机应用，2021，41（2）：363-371. 10.11772/j.issn.1001-9081.2020050609
	LUO C Y， CHEN X B， MA C D， et al. Online federated incremental learning algorithm for blockchain［J］. Journal of Computer Applications， 2021， 41（2）：363-371. 10.11772/j.issn.1001-9081.2020050609
4	芦效峰，廖钰盈，LIO P，等.一种面向边缘计算的高效异步联邦学习机制［J］.计算机研究与发展，2020，57（12）：2571-2582. 10.7544/issn1000-1239.2020.20190754
	LU X F， LIAO Y Y， LIO P， et al. An asynchronous federated learning mechanism for edge network computing［J］. Journal of Computer Research and Development， 2020， 57（12）：2571-2582. 10.7544/issn1000-1239.2020.20190754
5	HU B X， GAO Y J， LIU L， et al. Federated region-learning： an edge computing based framework for urban environment sensing［C］// Proceedings of the 2018 IEEE Global Communications Conference. Piscataway： IEEE， 2018：1-7. 10.1109/glocom.2018.8647649
6	YANG W S， ZHANG Y H， YE K J， et al. FFD： a federated learning based method for credit card fraud detection［C］// Proceedings of the 2019 International Conference on Big Data， LNCS 11514. Cham： Springer， 2019：18-32.
7	HU Y， SUN X Y， CHEN Y， et al. Model and feature aggregation based federated learning for multi-sensor time series trend following［C］// Proceedings of the 2019 International Work-Conference on Artificial Neural Networks， LNCS 11506. Cham： Springer， 2019：233-246.
8	王蓉，马春光，武朋.基于联邦学习和卷积神经网络的入侵检测方法［J］.信息网络安全，2020，20（4）：47-54. 10.3969/j.issn.1671-1122.2020.04.006
	WANG R， MA C G， WU P. An intrusion detection method based on federated learning and convolutional neural network［J］. Netinfo Security， 2020， 20（4）：47-54. 10.3969/j.issn.1671-1122.2020.04.006
9	CHEN Y， SUN X Y， JIN Y C. Communication-efficient federated deep learning with layerwise asynchronous model update and temporally weighted aggregation［J］. IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（10）：4229-4238. 10.1109/tnnls.2019.2953131
10	House White. Consumer data privacy in a networked world： a framework for protecting privacy and promoting innovation in the global digital economy［R］. Washington， DC： White House， 2012.
11	McMAHAN H B， MOORE E， RAMAGE D， et al. Communication-efficient learning of deep networks from decentralized data［C］// Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2017：1273-1282.
12	KONEČNÝ J， McMAHAN H B， YU F X， et al. Federated learning： strategies for improving communication efficiency［EB/OL］. （2017-10-30）［2020-07-12］..
13	LU Y L， HUANG X H， ZHANG K， et al. Blockchain empowered asynchronous federated learning for secure data sharing in internet of vehicles［J］. IEEE Transactions on Vehicular Technology， 2020， 69（4）：4298-4311. 10.1109/tvt.2020.2973651
14	FedAI. Utilization of FATE in risk management of credit in small and micro enterprises［EB/OL］. ［2020-07-12］.. 10.14738/abr.49.872
15	OWKIN， Inc. Federated learning to accelerate medical research［EB/OL］. ［2020-07-12］.. 10.53347/rid-81590
16	QIU J， CHAI Y H， TIAN Z H， et al. Automatic concept extraction based on semantic graphs from big data in smart city［J］. IEEE Transactions on Computational Social Systems， 2020， 7（1）：225-233. 10.1109/tcss.2019.2946181
17	ZHENG Y， LIU F R， HSIEH H P. U-Air： when urban air quality inference meets big data［C］// Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2013：1436-1444. 10.1145/2487575.2488188
18	KONEČNÝ J， McMAHAN B， RAMAGE D， et al. Federated optimization： distributed machine learning for on-device intelligence［EB/OL］. （2016-10-08）［2020-08-15］..
19	PREUVENEERS D， RIMMER V， TSINGENOPOULOS I， et al. Chained anomaly detection models for federated learning： an intrusion detection case study［J］. Applied Sciences， 2018， 8（12）：No.2663. 10.3390/app8122663
20	林毅，吉鸿江，韩佳佳，等.一种基于马氏距离的系统故障诊断方法［J］. 计算机科学，2020，47（S2）：57-63.
	LIN Y， JI H J， HAN J J， et al. System fault diagnosis method based on mahalanobis distance metric［J］. Computer Science， 2020， 47（S2）：57-63.
21	毛文涛，杨超，刘亚敏，等.面向轴承早期故障检测的多尺度残差注意力深度领域适配模型［J］.计算机应用，2020，40（10）：2890-2898.
	MAO W T， YANG C， LIU Y M， et al. Deep domain adaptation model with multi-scale residual attention for incipient fault detection of bearings［J］. Journal of Computer Applications， 2020， 40（10）：2890-2898.
22	LIU J， AN Y C， DOU R L， et al. Helical fault diagnosis model based on data-driven incremental mergence［J］. Computers and Industrial Engineering， 2018， 125：517-532. 10.1016/j.cie.2018.02.002

编号	轴承位置	故障部位	故障直径/mm
1	None	None	0.000
2	Driver End	IRW	0.007
3	Driver End	IRW	0.014
4	Driver End	ORW	0.007
5	Driver End	ORW	0.014
6	Driver End	BA	0.007
7	Driver End	BA	0.014
8	Fan End	IRW	0.007
9	Fan End	IRW	0.014
10	Fan End	ORW	0.007
11	Fan End	ORW	0.014
12	Fan End	BA	0.007
13	Fan End	BA	0.014

编号	轴承位置	故障部位	故障直径/mm
1	None	None	0.000
2	Driver End	IRW	0.007
3	Driver End	IRW	0.014
4	Driver End	ORW	0.007
5	Driver End	ORW	0.014
6	Driver End	BA	0.007
7	Driver End	BA	0.014
8	Fan End	IRW	0.007
9	Fan End	IRW	0.014
10	Fan End	ORW	0.007
11	Fan End	ORW	0.014
12	Fan End	BA	0.007
13	Fan End	BA	0.014

网络层	权重		偏置
网络层	weight_hh	weight_ih	偏置
LSTM层	256 × 100	256 × 100	100
dense层1	256 × 64		64
dense层2	64 × 13		13

网络层	权重		偏置
网络层	weight_hh	weight_ih	偏置
LSTM层	256 × 100	256 × 100	100
dense层1	256 × 64		64
dense层2	64 × 13		13

F值	通信轮次	每轮时间/s	训练集准确率	测试集准确率
0.3	33	12.395	0.954 8	0.938 8
0.5	29	18.703	0.960 2	0.943 9
0.7	26	23.787	0.962 3	0.945 4
1.0	17	28.854	0.972 1	0.963 1

基于联邦增量学习的工业物联网数据共享方法

Data sharing method of industrial internet of things based on federal incremental learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 22

相关文章 15

编辑推荐

Metrics

F 值	方法	工厂子端	不同通信轮次下的极值
F 值	方法	工厂子端	1	5	10	20	30
0.3	FIL-IIOT	Factory_0	3.127	0.841	0.507	1.432	0.767
		Factory_1	0.768	1.960	0.527	1.576	1.782
		Factory_2	2.547	1.482	1.653	2.276	2.520
		Factory_3	1.926	2.568	0.911	1.374	2.167
		Factory_4	0.202	2.962	2.120	1.096	0.796
		Factory_5	2.772	3.005	0.232	2.895	1.279
		Factory_6	2.352	0.628	2.937	1.652	1.581
		Factory_7	3.779	1.384	0.132	1.563	1.280
		Factory_8	3.003	2.370	0.523	1.057	1.527
		Factory_9	2.830	1.196	1.268	0.904	1.666
	FedAvg	Factory_0	2.760	0.276	3.096	1.994	1.896
		Factory_1	2.626	1.062	1.944	1.137	1.271
		Factory_2	2.683	1.303	3.588	1.273	2.037
		Factory_3	1.415	2.944	1.911	0.994	1.199
		Factory_4	3.185	2.477	1.042	1.810	0.301
		Factory_5	1.688	2.420	1.038	2.294	3.023
		Factory_6	2.151	2.709	2.737	1.252	2.332
		Factory_7	0.444	2.344	2.365	0.966	0.942
		Factory_8	0.499	1.463	2.148	0.167	2.233
		Factory_9	2.947	2.710	2.616	2.350	1.277
1.0	FedAvg	Factory_0	0.357	1.789	2.212	2.352	0.738
		Factory_1	2.352	0.598	2.570	1.657	2.679
		Factory_2	0.766	1.832	1.408	1.253	2.489
		Factory_3	2.594	0.495	0.458	1.632	2.829
		Factory_4	0.403	2.411	2.549	2.964	1.682
		Factory_5	1.386	1.394	2.096	1.823	2.205
		Factory_6	0.411	3.620	1.230	1.489	2.806
		Factory_7	2.235	1.879	1.745	0.861	0.859
		Factory_8	0.641	3.447	3.177	0.630	1.399
		Factory_9	2.587	2.300	2.871	1.981	2.778

F 值	方法	训练集准确率	测试集准确率	时间/s
1.0	FedAvg	0.968 7	0.944 2	754
0.3	FedAvg	0.933 6	0.917 7	353
0.3	FIL-IIOT	0.955 6	0.931 8	362

方法	训练精度	训练时间/s	测试精度	测试时间/s
FedAvg	0.882 2	722	0.869 7	83
FIL-IIOT-NI	0.921 4	746	0.905 6	68
FIL-IIOT	0.945 6	478	0.931 5	65

[1]	王乐, 韩萌, 李小娟, 张妮, 程浩东. 基于动态加权函数的集成分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1137-1147.
[2]	罗长银, 王君宇, 陈学斌, 马春地, 张淑芬. 改进的联邦加权平均算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1131-1136.
[3]	邱鑫源, 叶泽聪, 崔翛龙, 高志强. 联邦学习通信开销研究综述[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 333-342.
[4]	刘超, 王磊, 杨文, 钟强强, 黎敏. 属性集变化条件下集值决策信息系统的增量属性约简方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 463-468.
[5]	郭棉, 张锦友. 移动边缘计算环境中面向机器学习的计算迁移策略[J]. 计算机应用, 2021, 41(9): 2639-2645.
[6]	董文涛, 李卓, 陈昕. 基于联邦学习的在线短视频内容分发策略[J]. 计算机应用, 2021, 41(6): 1551-1556.
[7]	王家瑞, 谭国平, 周思源. 高速车联网场景下分簇式无线联邦学习算法[J]. 计算机应用, 2021, 41(6): 1546-1550.
[8]	罗长银, 陈学斌, 马春地, 王君宇. 面向区块链的在线联邦增量学习算法[J]. 计算机应用, 2021, 41(2): 363-371.
[9]	邓文瀚, 张铭, 王李进, 钟一文. 混合群体增量学习算法求解闭环布局问题[J]. 计算机应用, 2021, 41(1): 95-102.
[10]	刘丹, 姚立霜, 王云锋, 裴作飞. 面向类不平衡流量数据的分类模型[J]. 计算机应用, 2020, 40(8): 2327-2333.
[11]	骆克云, 叶保留, 唐斌, 梅峰, 卢文达. 基于增量学习的RocksDB键值系统主动缓存机制[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 321-327.
[12]	张君如, 赵晓焱, 袁培燕. 面向用户隐私保护的联邦安全树算法[J]. 计算机应用, 2020, 40(10): 2980-2985.
[13]	忽丽莎, 王素贞, 陈益强, 胡春雨, 蒋鑫龙, 陈振宇, 高兴宇. 基于目标均衡度量的核增量学习跌倒检测方法[J]. 计算机应用, 2018, 38(4): 928-934.
[14]	汪金涛, 曹玉东, 孙福明. 稀疏约束图正则非负矩阵分解的增量学习算法[J]. 计算机应用, 2017, 37(4): 1071-1074.
[15]	霍纬纲, 屈峰, 程震. 基于演进向量量化聚类的增量模糊关联分类方法[J]. 计算机应用, 2017, 37(11): 3075-3079.