Rotary machine fault diagnosis based on improved residual convolutional auto-encoding network and class adaptation

doi:10.11772/j.issn.1001-9081.2021060905

Journal of Computer Applications ›› 2022, Vol. 42 ›› Issue (8): 2440-2449.DOI: 10.11772/j.issn.1001-9081.2021060905

• Artificial intelligence • Previous Articles

Rotary machine fault diagnosis based on improved residual convolutional auto-encoding network and class adaptation

Jian ZHANG¹, Peiyuan CHENG², Siyu SHAO²()

^1.Graduate School，Air Force Engineering University，Xi’an Shaanxi 710051，China
^2.Air and Missile Defense College，Air Force Engineering University，Xi’an Shaanxi 710051，China

Received:2021-06-01 Revised:2021-08-31 Accepted:2021-09-14 Online:2022-08-09 Published:2022-08-10
Contact: Siyu SHAO
About author:ZHANG Jian， born in 1997， M. S. candidate. His research interests include deep learning， rotary machine fault diagnosis.
CHENG Peiyuan， born in 1967， M. S.， professor. His research interests include power system and its automation.
SHAO Siyu， born in 1991， Ph. D.， lecturer. Her research interests include deep learning， transfer learning， health status detection and fault diagnosis of electromechanical equipment.
Supported by:
Basic Research Program of Natural Science in Shaanxi Province(2020JQ-475)

基于改进残差卷积自编码网络的类自适应旋转机械故障诊断

张剑¹, 程培源², 邵思羽²()

^1.空军工程大学研究生院，西安 710051
^2.空军工程大学防空反导学院，西安 710051

通讯作者: 邵思羽
作者简介:张剑（1997—），男，四川西昌人，硕士研究生，主要研究方向：深度学习、旋转机械故障诊断；
程培源（1967—），男，陕西咸阳人，教授，硕士，主要研究方向：电力系统及其自动化；
邵思羽（1991—），女，山东邹城人，讲师，博士，主要研究方向：深度学习、迁移学习、机电设备健康状态检测与故障诊断。
基金资助:
陕西省自然科学基础研究计划项目(2020JQ-475)

Abstract

Abstract:

Aiming at the insufficient deep network model training problem caused by limited rotary machine sensor signal samples， a fault diagnosis model combining improved residual convolutional auto-encoding network and class adaption method was proposed to deal with the data with small sample size. Firstly， paired samples were created by a small number of labeled source domain data and target domain data， and an improved one-dimensional residual convolutional auto-encoding network was designed to extract features from two types of original vibration signals with different distributions. Secondly， the Maximum Mean Discrepancy （MMD） was used to reduce the distribution difference， and the data space of the same fault category from two domains was mapped to a common feature space. Finally， the accurate fault diagnosis was realized. Experimental results show that the proposed model is able to effectively improve the fault diagnosis accuracy of the target domain vibration data with few labels under different working conditions compared with the fine-tuning and domain adaptation methods.

Key words: residual convolutional auto-encoding network, class adaptation, rotary machine fault diagnosis, small sample size, Maximize Mean Discrepancy (MMD)

摘要：

针对旋转机械传感器信号样本有限影响深层网络模型训练学习的问题，提出一种结合改进残差卷积自编码网络与类自适应方法的故障诊断模型应对小样本数据。首先将少量已标记的源域数据和目标域数据创建为成对样本，并设计一种改进的一维残差卷积自编码网络对两种不同分布的原始振动信号进行特征提取；其次，利用最大均值差异（MMD）减小分布差异，并将两个域同一故障类别的数据空间映射到一个共同的特征空间，最终实现准确的故障诊断。实验结果表明，与微调、域自适应等方法相比，所提模型能够有效提高不同工况、微量已标记的目标域振动数据下的故障诊断准确率。

关键词: 残差卷积自编码网络, 类自适应, 旋转机械故障诊断, 小样本, 最大均值差异

CLC Number:

TP183

Jian ZHANG, Peiyuan CHENG, Siyu SHAO. Rotary machine fault diagnosis based on improved residual convolutional auto-encoding network and class adaptation[J]. Journal of Computer Applications, 2022, 42(8): 2440-2449.

张剑, 程培源, 邵思羽. 基于改进残差卷积自编码网络的类自适应旋转机械故障诊断[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2440-2449.

Figures/Tables 20

Fig. 1 Structure of auto-encoder

Fig. 2 Structure of Res-Conv-AE-Net

Fig. 3 Structure of residual block

Tab. 1 Model parameter information 1

网络层	参数	激活函数	输出尺寸
输入	—	—	（1 024，1）
卷积 $c E 0$	f=64， k=16， s=1	SeLU	（1 024，64）
最大池化 $m 0$	p=8， s=8	—	（128，64）
残差模块 $E 1$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（128，64）
最大池化 $m 1$	p=2， s=2	—	（64，64）
残差模块 $E 2$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（64，64）
最大池化 $m 2$	p=2， s=2	—	（32，64）
残差模块 $E 3$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（32，64）
最大池化 $m 3$	p=2， s=2	—	（16，64）
上采样 $u 3$	s=2	—	（32，64）
残差模块 $D 3$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（32，64）
上采样 $u 2$	s=2	—	（64，64）
残差模块 $D 2$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（64，64）
上采样 $u 1$	s=2	—	（128，64）
残差模块 $D 1$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（128，64）
上采样 $u 0$	s=8	—	（1 024，64）
卷积 $c D 0$	f=1， k=16， s=1	SeLU	（1 024，1）

Tab. 1 Model parameter information 1

网络层	参数	激活函数	输出尺寸
输入	—	—	（1 024，1）
卷积 $c E 0$	f=64， k=16， s=1	SeLU	（1 024，64）
最大池化 $m 0$	p=8， s=8	—	（128，64）
残差模块 $E 1$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（128，64）
最大池化 $m 1$	p=2， s=2	—	（64，64）
残差模块 $E 2$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（64，64）
最大池化 $m 2$	p=2， s=2	—	（32，64）
残差模块 $E 3$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（32，64）
最大池化 $m 3$	p=2， s=2	—	（16，64）
上采样 $u 3$	s=2	—	（32，64）
残差模块 $D 3$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（32，64）
上采样 $u 2$	s=2	—	（64，64）
残差模块 $D 2$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（64，64）
上采样 $u 1$	s=2	—	（128，64）
残差模块 $D 1$	f1=f2=64， k1=k2=3， s1=s2=1	SeLU	（128，64）
上采样 $u 0$	s=8	—	（1 024，64）
卷积 $c D 0$	f=1， k=16， s=1	SeLU	（1 024，1）

Fig. 4 Fault diagnosis model based on Res-Conv-AE-Net

Tab. 2 Model parameter information 2

网络层	参数	激活函数	输出尺寸
编码器	—	—	（16，64）
自注意力机制	L=64	—	（16，64）
展平层	—	SeLU	1 024
全连接层	U=128	SeLU	128
Dropout	—	—	128
分类层	U=5	Softmax	5

Fig. 5 Schematic diagram of adaptation

Fig. 6 Fault diagnosis method based on Res-Conv-AE-Net and class adaptation

Fig. 7 Experimental platform

Tab. 3 Experimental data information

名称	部件	转速	负载	样本长度	样本数
数据A	轴承	20	0.00	1 024	1 000×5
数据B	轴承	30	7.32	1 024	1 000×5
数据C	齿轮	20	0.00	1 024	1 000×5
数据D	齿轮	30	7.32	1 024	1 000×5

Tab. 4 Recognition rates under different numbers of training samples

训练样本数	测试集识别率/％	训练样本数	测试集识别率/%
1	52.04	50	98.47
3	70.83	60	99.00
5	86.87	70	99.13
7	79.82	80	98.60
10	95.00	70	99.13
20	97.27	80	98.60
30	97.89	90	99.23
40	98.07	100	99.56

Fig. 8 Accuracies under different activation functions

Fig. 9 Loss values of two auto-encoders

Tab. 5 Experimental setting

实验	源域数据	目标域数据
A→B	数据A	数据B
A→C		数据C
A→D		数据D
B→A	数据B	数据A
B→C		数据C
B→D		数据D
C→A	数据C	数据A
C→B		数据B
C→D		数据D
D→A	数据D	数据A
D→B		数据B
D→C		数据C

Tab. 6 Recognition accuracies of different transfer learning methods

目标域样本数	类自适应迁移		域自适应迁移		微调
目标域样本数	A→B	A→D	A→B	A→D	A→B	A→D
1	97.25	91.32	96.21	82.96	90.41	71.66
3	98.58	92.13	96.68	85.70	94.14	78.84
5	98.64	93.96	97.60	86.46	96.42	83.87
7	98.93	93.34	97.91	90.11	96.96	88.50
10	99.50	93.57	97.96	91.35	97.05	89.34

Tab. 7 Fault recognition rates for different migration tasks

源域	目标域
源域	A	B	C	D
A	*	97.25	88.11	91.32
B	96.56	*	87.86	89.43
C	90.31	91.26	*	95.47
D	89.72	90.06	96.23	*

Fig. 10 Feature distribution maps

Tab. 8 Comparison of accuracy between the proposed method and other methods

目标域标记数据数量	迁移任务	CNN+类自适应	文献［8］模型	文献［9］模型	文献［12］模型	本文模型
1	A→B	93.18	92.36	96.01	95.84	97.25
1	A→D	81.36	79.67	89.85	86.87	91.32
3	A→B	93.64	92.91	97.26	96.78	98.58
3	A→D	84.55	80.45	91.33	88.93	92.13
5	A→B	93.97	93.37	98.35	97.52	98.64
5	A→D	86.06	81.28	92.40	89.57	93.96
7	A→B	94.65	94.52	98.90	98.21	98.93
7	A→D	86.59	81.42	93.79	89.95	93.34
10	A→B	95.89	95.13	99.06	98.56	99.50
10	A→D	86.47	82.07	93.10	90.16	93.57

Fig. 11 Comparison of change values in weight and bias

Tab. 9 Range of weight and bias changes

位置	权重变化区间	偏置变化区间
第一编码层	（-0.284，0.294）	（-0.013.0.010）
第二编码层	（-0.319，0.273）	（-0.014.0.018）
第三编码层	（-0.329，0.316）	（-0.016.0.033）
全连接层	（-0.208，0.211）	（-0.053.0.047）

References 17

1	ZHU H P， CHENG J X， ZHANG C， et al. Stacked pruning sparse denoising autoencoder based intelligent fault diagnosis of rolling bearings［J］. Applied Soft Computing， 2020， 88： No.106060. 10.1016/j.asoc.2019.106060
2	SHAO H D， JIANG H K， ZHAO K， et al. A novel tracking deep wavelet auto-encoder method for intelligent fault diagnosis of electric locomotive bearings［J］. Mechanical Systems and Signal Processing， 2018， 110： 193-209. 10.1016/j.ymssp.2018.03.011
3	陈保家，陈学力，沈保明，等. CNN-LSTM深度神经网络在滚动轴承故障诊断中的应用［J］.西安交通大学学报， 2021， 55（6）： 28-36. 10.7652/xjtuxb202106004
	CHEN B J， CHEN X L， SHEN B M， et al. An application of convolution neural network and long short-term memory in rolling bearing fault diagnosis［J］. Journal of Xi’an Jiaotong University， 2021， 55（6）： 28-36. 10.7652/xjtuxb202106004
4	李益兵，马建波，江丽.基于SFLA改进卷积神经网络的滚动轴承故障诊断［J］.振动与冲击， 2020， 39（24）： 187-193. 10.13465/j.cnki.jvs.2020.24.026
	LI Y B， MA J B， JIANG L. Fault diagnosis of rolling bearing based on an improved convolutional neural network using SFLA［J］. Journal of Vibration and Shock， 2020， 39（24）： 187-193. 10.13465/j.cnki.jvs.2020.24.026
5	YAN X A， SHE D M， XU Y D， et al. Deep regularized variational autoencoder for intelligent fault diagnosis of rotor-bearing system within entire life-cycle process［J］. Knowledge-Based Systems， 2021 226： No.107142. 10.1016/j.knosys.2021.107142
6	CAO P， ZHANG S L， TANG J. Preprocessing-free gear fault diagnosis using small datasets with deep convolutional neural network-based transfer learning［J］. IEEE Access， 2018， 6： 26241-26253. 10.1109/access.2018.2837621
7	PERSELLO C， BRUZZONE L. Kernel-based domain-invariant feature selection in hyperspectral images for transfer learning［J］. IEEE Transactions on Geoscience and Remote Sensing， 2016， 54（5）： 2615-2626. 10.1109/TGRS.2015.2503885
8	LU W N， LIANG B， CHENG Y， et al. Deep model based domain adaptation for fault diagnosis［J］. IEEE Transactions on Industrial Electronics， 2017， 64（3）： 2296-2305. 10.1109/tie.2016.2627020
9	杨春柳.基于卷积神经网络的多层域自适应滚动轴承故障诊断［J］.电子测量与仪器学报， 2021， 35（2）： 122-129. 10.13382/j.jemi.B2003116
	YANG C L. Multi-domain adaptive rolling bearing fault diagnosis based on convolutional neural network［J］. Journal of Electronic Measurement and Instrumentation， 2021， 35（2）： 122-129. 10.13382/j.jemi.B2003116
10	WANG H J， BAI X W， TAN J， et al. Deep prototypical networks based domain adaptation for fault diagnosis［J］. Journal of Intelligent Manufacturing， 2022， 33（4）： 973-983. 10.1007/s10845-020-01709-4
11	REZAEIANJOUYBARI B， SHANG Y. A novel deep multi-source domain adaptation framework for bearing fault diagnosis based on feature-level and task-specific distribution alignment［J］. Measurement， 2021， 178： No.109359. 10.1016/j.measurement.2021.109359
12	LI X D， HU Y， ZHENG J H， et al. Central moment discrepancy based domain adaptation for intelligent bearing fault diagnosis［J］. Neurocomputing， 2021， 429： 12-24. 10.1016/j.neucom.2020.11.063
13	ZHANG Z W， CHEN H H， LI S M， et al. A novel unsupervised domain adaptation based on deep neural network and manifold regularization for mechanical fault diagnosis［J］. Measurement Science and Technology， 2020， 31（8）： No.085101. 10.1088/1361-6501/ab78c4
14	SHIN H C， ORTON M R， COLLINS D J， et al. Stacked autoencoders for unsupervised feature learning and multiple organ detection in a pilot study using 4D patient data［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（8）： 1930-1943. 10.1109/tpami.2012.277
15	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
16	KLAMBAUER G， UNTERTHINER T， MAYER A， et al. Self-normalizing neural networks ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 972-981.
17	HINTON G E， SRIVASTAVA N， KRIZHEVSKY A， et al. Improving neural networks by preventing co-adaptation of feature detectors［EB/OL］. （2012-07-03）［2021-03-20］. .

[1]	LIU Zhen JIANG Hui WANG Libin. SAR target recognition method based on weighted two-directional and two-dimensional linear discriminant analysis [J]. Journal of Computer Applications, 2013, 33(02): 534-538.
[2]	. Face recognition based on symmetrical linear discriminate analysis [J]. Journal of Computer Applications, 2009, 29(12): 3352-3353.
[3]	. Optimal feature extraction and face recognition based on kernel machinebased oneparameter multiple discriminant analysis [J]. Journal of Computer Applications, 2006, 26(11): 2781-2783.

Rotary machine fault diagnosis based on improved residual convolutional auto-encoding network and class adaptation

基于改进残差卷积自编码网络的类自适应旋转机械故障诊断

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 20

References 17

Related Articles 3

Recommended Articles

Metrics