基于多域特征提取的多变量时间序列异常检测

doi:10.11772/j.issn.1001-9081.2023111636

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (11): 3419-3426.DOI: 10.11772/j.issn.1001-9081.2023111636

基于多域特征提取的多变量时间序列异常检测

赵培, 乔焰(), 胡荣耀, 袁新宇, 李敏悦, 张本初

工业安全与应急技术安徽省重点实验室（合肥工业大学），合肥 230601

收稿日期:2023-11-27 修回日期:2024-03-04 接受日期:2024-03-18 发布日期:2024-03-22 出版日期:2024-11-10
通讯作者: 乔焰
作者简介:赵培（1999—），男，安徽滁州人，硕士研究生，主要研究方向：异常检测、信息安全
胡荣耀（1999—），男，安徽淮南人，硕士研究生，主要研究方向：异常检测、信息安全
袁新宇（1999—），男，安徽合肥人，硕士研究生，主要研究方向：计算机网络、模式识别
李敏悦（1999—），女，安徽合肥人，硕士研究生，主要研究方向：自然语言处理
张本初（2000—），男，安徽六安人，硕士研究生，主要研究方向：异常检测、网络安全。
基金资助:
安徽省自然科学基金资助项目(2008085MF203);中央高校基本科研业务费专项资金资助项目(PA2024GDSK0095)

Multivariate time series anomaly detection based on multi-domain feature extraction

Pei ZHAO, Yan QIAO(), Rongyao HU, Xinyu YUAN, Minyue LI, Benchu ZHANG

Anhui Province Key Laboratory of Industry Safety and Emergency Technology （Hefei University of Technology），Hefei Anhui 230601，China

Received:2023-11-27 Revised:2024-03-04 Accepted:2024-03-18 Online:2024-03-22 Published:2024-11-10
Contact: Yan QIAO
About author:ZHAO Pei， born in 1999， M. S. candidate. His research interests include anomaly detection， information security.
HU Rongyao， born in 1999， M. S. candidate. His research interests include anomaly detection， information security.
YUAN Xinyu， born in 1999， M. S. candidate. His research interests include computer networks， pattern recognition.
LI Minyue， born in 1999， M. S. candidate. Her research interests include natural language processing.
ZHANG Benchu， born in 2000， M. S. candidate. His research interests include anomaly detection， network security.
Supported by:
Anhui Natural Science Foundation(2008085MF203);Fundamental Research Funds for Central Universities(PA2024GDSK0095)

摘要/Abstract

摘要：

多变量时间序列（MTS）数据具有高维性，且分布复杂多变，现有的异常检测模型在面对MTS数据集时普遍存在误判率高、训练困难等问题，且多数模型仅考虑时间序列样本的时空特征，对时间序列特征的学习并不全面。为了解决以上问题，提出一种基于多域特征提取的MTS异常检测模型（MFE-TS）。首先，从原始数据域出发，使用长短期记忆（LSTM）网络与卷积神经网络（CNN）分别提取MTS的时间相关性和空间相关性特征。其次，用傅里叶变换将原始时间序列转换到频域空间，并利用Transformer学习数据在频域空间的幅度与相位特征。多域特征学习能更全面地建模时间序列特征，从而提高模型对MTS的异常检测性能。此外，引入掩码策略，进一步增强模型的特征学习能力，并使模型具备一定的抗噪性。实验结果表明，MFE-TS在多个真实MTS数据集上展现了优越的性能，同时在含有噪声的数据集中仍能保持较好的检测效果。

关键词: 多变量时间序列, 异常检测, 无监督学习, 多域特征提取

Abstract:

Due to the high dimensionality and the complex variable distribution of Multivariate Time Series （MTS） data， the existing anomaly detection models generally suffer from high error rates and training difficulties when dealing with MTS datasets. Moreover， most models only consider the spatial-temporal features of time series samples， which are not sufficient to learn the features of time series. To solve the above problems， a multivariate Time Series anomaly detection model based on Multi-domain Feature Extraction （MFE-TS） was proposed. Firstly， starting from the original data domain， the Long Short-Term Memory （LSTM） network and the Convolutional Neural Network （CNN） were used to extract the temporal correlation and spatial correlation features of the MTS respectively. Secondly， Fourier transform was used to convert the original time series into frequency domain space， and Transformer was used to learn the amplitude and phase features of the data in frequency domain space. Multi-domain feature learning was able to model time series features more comprehensively， thereby improving anomaly detection performance of the model to MTS. In addition， the masking strategy was introduced to further enhance the feature learning ability of the model and make the model have a certain degree of noise resistance. Experimental results show that MFE-TS has superior performance on multiple real MTS datasets， while it still maintain good detection accuracy on datasets with noise.

Key words: Multivariate Time Series (MTS), anomaly detection, unsupervised learning, multi-domain feature extraction

中图分类号:

TP391.4

赵培, 乔焰, 胡荣耀, 袁新宇, 李敏悦, 张本初. 基于多域特征提取的多变量时间序列异常检测[J]. 计算机应用, 2024, 44(11): 3419-3426.

Pei ZHAO, Yan QIAO, Rongyao HU, Xinyu YUAN, Minyue LI, Benchu ZHANG. Multivariate time series anomaly detection based on multi-domain feature extraction[J]. Journal of Computer Applications, 2024, 44(11): 3419-3426.

图/表 7

图1 MFE-TS模型结构

Fig. 1 Structure of MFE-TS model

图2 Transformer编码器结构

Fig. 2 Structure of Transformer encoder

图3 Transformer解码器结构

Fig. 3 Structure of Transformer decoder

表1 数据集信息

Tab. 1 Information of datasets

数据集	数据维度	训练长度	测试长度	异常比例/%
SMAP	25	135 183	427 617	13.13
MSL	55	58 317	73 729	10.72
SMD	38	708 405	708 420	4.16
WADI	123	1 048 571	172 810	5.99
SWAT	51	496 800	449 919	11.98

表2 MFE-TS与多种基线方法的性能比较 ( %)

Tab. 2 Performance comparison of MFE-TS and multiple baseline methods

数据集	DAGMM			Omni			LSTM-VAE			TS2Vec			CRT
数据集	F₁	P	R	F₁	P	R	F₁	P	R	F₁	P	R	F₁	P	R
SMAP	87.74	81.37	95.21	86.93	82.93	91.35	78.10	92.20	67.75	53.26	55.43	51.26	83.33	93.06	77.95
MSL	81.43	69.32	98.67	89.28	84.51	94.63	82.62	85.49	79.94	50.75	50.54	50.96	87.81	95.01	83.12
SMD	85.32	89.84	81.65	88.64	85.91	91.65	82.30	75.76	90.08	47.51	45.27	50.02	95.16	93.34	97.05
WADI	43.09	27.56	98.69	50.84	41.58	65.41	49.51	35.29	82.96	53.07	50.88	55.47	70.28	68.47	72.11
SWAT	75.54	93.63	63.31	81.31	97.82	69.57	82.20	76.00	89.50	49.41	48.25	50.63	87.21	84.33	90.98
数据集	AnomalyTran			INRAD			FGANomaly			TranAD			MFE-TS
数据集	F₁	P	R	F₁	P	R	F₁	P	R	F₁	P	R	F₁	P	R
SMAP	96.44	93.57	99.49	92.13	85.82	99.55	85.04	93.14	78.98	89.12	80.43	99.92	96.49	94.67	98.39
MSL	93.59	92.09	95.15	96.09	93.32	99.04	92.03	90.24	93.89	94.60	90.65	98.91	95.27	93.33	97.30
SMD	92.33	89.40	95.45	97.46	98.21	96.73	87.51	86.14	88.92	96.05	92.62	99.74	98.13	97.75	98.51
WADI	70.93	71.64	70.23	53.07	39.26	81.87	51.80	37.18	85.36	53.07	39.26	81.87	77.62	78.27	76.99
SWAT	94.07	91.55	96.73	97.22	95.67	98.83	86.38	87.06	85.72	90.02	97.60	83.54	95.96	97.95	94.04

图4 MFE-TS消融实验结果

Fig. 4 Ablation experimental results of MFE-TS

表3 不同噪声比例下的F1分数 ( %)

Tab.3 F1-score under different proportions of noise

噪声比例	SMD					WADI					SWAT
噪声比例	MFE-TS	Omni	INRAD	FGANomaly	TranAD	MFE-TS	Omni	INRAD	FGANomaly	TranAD	MFE-TS	Omni	INRAD	FGANomaly	TranAD
$Δ$	3.09	8.31	7.53	6.57	11.26	4.80	9.69	10.22	5.58	10.11	3.66	14.12	8.48	5.13	9.06
0	98.13	88.64	97.46	87.51	96.05	77.62	50.84	71.48	51.80	53.07	95.96	81.31	97.22	86.38	90.02
5	97.65	87.53	95.33	86.22	94.31	75.04	49.03	69.79	52.56	51.28	95.39	78.43	96.34	84.21	88.23
10	97.08	85.02	94.54	85.91	93.09	73.84	47.89	66.44	49.77	51.66	95.35	73.58	93.31	83.06	86.54
15	95.87	84.61	91.27	85.94	93.24	73.92	45.06	65.87	49.61	47.81	94.21	82.74	91.99	83.61	85.47
20	95.80	84.89	91.01	84.13	91.55	73.33	41.29	64.93	49.03	46.55	94.74	70.66	91.85	82.97	85.03
25	95.23	82.27	90.45	84.36	87.61	72.93	41.35	64.50	48.52	46.07	93.43	69.29	91.03	81.48	83.11
30	95.04	80.33	89.93	80.94	84.79	72.82	41.15	61.26	46.22	42.96	92.30	67.19	88.74	81.25	80.96

表3 不同噪声比例下的F1分数 ( %)

Tab.3 F1-score under different proportions of noise

噪声比例	SMD					WADI					SWAT
噪声比例	MFE-TS	Omni	INRAD	FGANomaly	TranAD	MFE-TS	Omni	INRAD	FGANomaly	TranAD	MFE-TS	Omni	INRAD	FGANomaly	TranAD
$Δ$	3.09	8.31	7.53	6.57	11.26	4.80	9.69	10.22	5.58	10.11	3.66	14.12	8.48	5.13	9.06
0	98.13	88.64	97.46	87.51	96.05	77.62	50.84	71.48	51.80	53.07	95.96	81.31	97.22	86.38	90.02
5	97.65	87.53	95.33	86.22	94.31	75.04	49.03	69.79	52.56	51.28	95.39	78.43	96.34	84.21	88.23
10	97.08	85.02	94.54	85.91	93.09	73.84	47.89	66.44	49.77	51.66	95.35	73.58	93.31	83.06	86.54
15	95.87	84.61	91.27	85.94	93.24	73.92	45.06	65.87	49.61	47.81	94.21	82.74	91.99	83.61	85.47
20	95.80	84.89	91.01	84.13	91.55	73.33	41.29	64.93	49.03	46.55	94.74	70.66	91.85	82.97	85.03
25	95.23	82.27	90.45	84.36	87.61	72.93	41.35	64.50	48.52	46.07	93.43	69.29	91.03	81.48	83.11
30	95.04	80.33	89.93	80.94	84.79	72.82	41.15	61.26	46.22	42.96	92.30	67.19	88.74	81.25	80.96

参考文献 24

1	ZONG B， SONG Q， MIN M R， et al. Deep autoencoding gaussian mixture model for unsupervised anomaly detection［EB/OL］. ［2023-09-21］. .
2	XU H， CHEN W， ZHAO N， et al. Unsupervised anomaly detection via variational auto-encoder for seasonal KPIs in Web applications［C］// Proceedings of the 2018 World Wide Web Conference. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2018：187-196.
3	LI D， CHEN D， JIN B， et al. MAD-GAN： multivariate anomaly detection for time series data with Generative adversarial networks［C］// Proceedings of the 2019 International Conference on Artificial Neural Networks， LNCS 11730. Cham： Springer， 2019：703-716.
4	GEIGER A， LIU D， ALNEGHEIMISH S， et al. TadGAN： time series anomaly detection using generative adversarial networks［C］// Proceedings of the 2020 IEEE International Conference on Big Data. Piscataway： IEEE， 2020： 33-43.
5	PARK D， HOSHI Y， KEMP C C. A multimodal anomaly detector for robot-assisted feeding using an LSTM-based variational autoencoder［J］. IEEE Robotics and Automation Letters， 2018， 3（3）： 1544-1551.
6	LIN S， CLARK R， BIRKE R， et al. Anomaly detection for time series using VAE-LSTM hybrid model［C］// Proceedings of the 2020 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2020：4322-4326.
7	TULI S， CASALE G， JENNINGS N R. TranAD： deep Transformer networks for anomaly detection in multivariate time series data［J］. Proceedings of the VLDB Endowment， 2022， 15（6）： 1201-1214.
8	XU J， WU H， WANG J， et al. Anomaly Transformer： time series anomaly detection with association discrepancy［EB/OL］. （2022-06-29）［2023-09-21］..
9	SHEN L， LI Z， KWOK J T. Timeseries anomaly detection using temporal hierarchical one-class network［C］// Proceedings of the 34th International Conference on Neural Information Processing System. Red Hook， NY： Curran Associates Inc.， 2020： 13016-13026.
10	丁小欧，于晟健，王沐贤，等.基于相关性分析的工业时序数据异常检测［J］.软件学报，2020，31（3）：726-747.
	DING X O， YU S J， WANG M X， et al. Anomaly detection on industrial time series based on correlation analysis［J］. Journal of Software， 2020， 31（3）： 726-747.
11	曾惟如，吴佳，闫飞.基于层级实时记忆算法的时间序列异常检测算法［J］.电子学报，2018，46（2）：325-332.
	ZENG W R， WU J， YAN F. Time series anomaly detection model based on hierarchical temporal memory［J］. Acta Electronica Sinica， 2018， 46（2）： 325-332.
12	ZHANG C， SONG D， CHEN Y， et al. A deep neural network for unsupervised anomaly detection and diagnosis in multivariate time series data［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019：1409-1416.
13	LI Z， ZHAO Y， HAN J， et al. Multivariate time series anomaly detection and interpretation using hierarchical inter-metric and temporal embedding［C］// Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2021： 3220-3230.
14	DING C， SUN S， ZHAO J. MST-GAT： a multimodal spatial-temporal graph attention network for time series anomaly detection［J］. Information Fusion， 2023， 89： 527-536.
15	张本初，乔焰，胡荣耀.结合对抗互信息的多变量时间序列抗噪异常检测［J/OL］.计算机应用研究，2024 ［2024-04-12］..
	ZHANG B C， QIAO Y， HU R Y. Robust anomaly detection for multivariate time series based on adversarial mutual information［J/OL］. Application Research of Computers， 2024 ［2024-04-12］..
16	YANG L， HONG S. Unsupervised time-series representation learning with iterative bilinear temporal-spectral fusion［C］// Proceedings of the 39th International Conference on Machine Learning. New York： JMLR.org， 2022： 25038-25054.
17	ZHANG W， YANG L， GENG S， et al. Self-supervised time series representation learning via cross reconstruction Transformer［J］. IEEE Transactions on Neural Networks and Learning Systems， 2023 （Early Access）： 1-10.
18	ZEILER M D， TAYLOR G W， FERGUS R. Adaptive deconvolutional networks for mid and high level feature learning［C］// Proceedings of the 2011 International Conference on Computer Vision. Piscataway： IEEE， 2011： 2018-2025.
19	ZEILER M D， KRISHNAN D， TAYLOR G W， et al. Deconvolutional networks［C］// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2010： 2528-2535.
20	WANG X， PI D， ZHANG X， et al. Variational Transformer-based anomaly detection approach for multivariate time series［J］. Measurement， 2022， 191： No.110791.
21	SU Y， ZHAO Y， NIU C， et al. Robust anomaly detection for multivariate time series through stochastic recurrent neural network［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 2828-2837.
22	DU B， SUN X， YE J， et al. GAN-based anomaly detection for multivariate time series using polluted training set［J］. IEEE Transactions on Knowledge and Data Engineering， 2023， 35（12）： 12208-12219.
23	YUE Z， WANG Y， DUAN J， et al. TS2Vec： towards universal representation of time series［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2022： 8980-8987.
24	JEONG K J， SHIN Y M. Time-series anomaly detection with implicit neural representation［EB/OL］. ［2023-10-17］..

[1]	王地欣, 王佳昊, 李敏, 陈浩, 胡光耀, 龚宇. 面向水声通信网络的异常攻击检测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 526-533.
[2]	邓淼磊, 阚雨培, 孙川川, 徐海航, 樊少珺, 周鑫. 基于深度学习的网络入侵检测系统综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 453-466.
[3]	任志强, 陈学斌. 基于历史模型更新的自适应防御机制FedAud[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 490-496.
[4]	宋鹏程, 郭立君, 张荣. 利用局部-全局时间依赖的弱监督视频异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 240-246.
[5]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[6]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[7]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[8]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[9]	林欣蕊, 王晓菲, 朱焱. 基于局部扩展社区发现的学术异常引用群体检测[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1855-1861.
[10]	袁子璇, 翁小清, 戈宁振. 基于正交局部保持映射和成本优化的多变量时间序列早期分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1832-1841.
[11]	朱子蒙, 李志新, 郇战, 陈瑛, 梁久祯. 基于三元中心引导的弱监督视频异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1452-1457.
[12]	孟凡, 杨群力, 霍静, 王新宽. 基于边缘异常候选集的迭代式主动多元时序异常检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1458-1463.
[13]	夏吾吉, 黄鹤鸣, 更藏措毛, 范玉涛. 基于无监督学习和监督学习的抽取式文本摘要综述[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1035-1048.
[14]	江锐, 刘威, 陈成, 卢涛. 非对称端到端的无监督图像去雨网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 922-930.
[15]	刘永江, 陈斌. 基于多尺度记忆库的像素级无监督工业异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3587-3594.

基于多域特征提取的多变量时间序列异常检测

Multivariate time series anomaly detection based on multi-domain feature extraction

RichHTML

PDF

PDF (Mobile)

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 24

相关文章 15

编辑推荐

Metrics