融合小波分解的多尺度时间序列异常检测

doi:10.11772/j.issn.1001-9081.2023101480

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (10): 3300-3306.DOI: 10.11772/j.issn.1001-9081.2023101480

• 第40届CCF中国数据库学术会议(NDBC 2023) • 上一篇下一篇

融合小波分解的多尺度时间序列异常检测

叶力硕, 何志学()

中国民航大学计算机科学与技术学院，天津 300300

收稿日期:2023-10-30 修回日期:2023-12-26 接受日期:2023-12-28 发布日期:2024-10-15 出版日期:2024-10-10
通讯作者: 何志学
作者简介:叶力硕（2001—），男，河南漯河人，硕士研究生，主要研究方向：数据挖掘、时间序列分析
何志学（1982—），男，河北枣强人，副教授，博士，CCF会员，主要研究方向：大数据处理与分析、数据挖掘 zxhe@cauc.edu.cn。
基金资助:
中央高校基本科研业务费专项(3122019121);中国民航大学科研启动基金资助项目(2020KYQD47)

Multiscale time series anomaly detection incorporating wavelet decomposition

Lishuo YE, Zhixue HE()

College of Computer Science and Technology，Civil Aviation University of China，Tianjin 300300，China

Received:2023-10-30 Revised:2023-12-26 Accepted:2023-12-28 Online:2024-10-15 Published:2024-10-10
Contact: Zhixue HE
About author:YE Lishuo， born in 2001， M. S. candidate. His research interests include data mining， time series analysis.
Supported by:
Fundamental Research Funds for Central Universities(3122019121);Research Initiation Fund of Civil Aviation University of China(2020KYQD47)

摘要/Abstract

摘要：

时间序列异常检测是时间序列分析中的重要任务之一，然而现实世界中多维时间序列的异常检测任务存在时间模式复杂、表征学习困难等问题。针对上述问题，提出一种融合小波分解的多尺度时间序列异常检测（WMAD）方法。具体地，以多时间窗口的方式，将时间序列的时间模式统一融合入二维堆叠的时间窗口中，增强多时间模式提取能力；同时，从频域角度引入小波变换，将原始序列分解为蕴含不同频率分量的时间变化模式，从长时间的趋势变化和短时间的瞬时变化角度捕捉复杂时间模式；借鉴卷积网络的特征提取能力，采用多尺度卷积网络自适应地聚合不同尺度的时序特征；增加包含空间和通道两种注意力机制的注意力模块，在增强多尺度特征提取能力的基础上提高关键信息的提取能力，进而提高精度。在SWaT（Secure Water Treatment）、SMD（Server Machine Dataset）和MSL（Mars Science Laboratory）等5个公共数据集上的异常检测结果显示，WMAD方法的F1值与MSCRED（MultiScale Convolutional Recurrent Encoder-Decoder）方法相比提高了3.62~9.44个百分点；与TranAD（deep Transformer networks for Anomaly Detection）方法相比提高了3.86~11.00个百分点，与其他代表性方法相比也有所提高。实验结果表明，WMAD方法能够捕获时间序列中的复杂时间模式，缓解表征困难问题，同时具有较好的异常检测性能。

关键词: 异常检测, 小波变换, 多尺度卷积, 注意力机制, 时间序列

Abstract:

Time series anomaly detection is one of the important tasks in time series analysis， but there are problems such as complex time patterns and difficult representation learning in real world multi-dimensional tasks. A WMAD （Wavelet transform for Multiscale time series Anomaly Detection） method incorporating wavelet decomposition was proposed. Specifically， the multi-temporal pattern extraction capability was enhanced through fusing the temporal patterns of time series uniformly into 2D stacked time windows in a multi-temporal window approach. At the same time， wavelet transform was introduced from the frequency domain perspective to decompose the original sequence into time-varying patterns with different frequency components to capture complex time patterns from the viewpoints of long-term trend changes and short-term transient changes. Based on the feature extraction capability of convolutional networks， a multiscale convolutional network was used to adaptively aggregate time series features at different scales. By adding the attention module containing both spatial and channel attention mechanisms， the extraction of key information was improved based on the enhancement of multiscale feature extraction capability， and thus the accuracy was improved. The anomaly detection results on five public datasets such as SWaT （Secure Water Treatment）， SMD （Server Machine Dataset） and MSL （Mars Science Laboratory） show that the F1 values of WMAD method is 3.62 to 9.44 percentage points higher than those of the MSCRED （MultiScale Convolutional Recurrent Encoder-Decoder） method， 3.86 to 11.00 percentage points higher than those of the TranAD （deep Transformer networks for Anomaly Detection） method， and higher than those of other representative methods. The experimental results show that the WMAD method can capture complex temporal patterns in time series and alleviate the problem of difficult representation while having good anomaly detection performance.

Key words: anomaly detection, wavelet transform, multiscale convolution, attention mechanism, time series

中图分类号:

TP391.4

叶力硕, 何志学. 融合小波分解的多尺度时间序列异常检测[J]. 计算机应用, 2024, 44(10): 3300-3306.

Lishuo YE, Zhixue HE. Multiscale time series anomaly detection incorporating wavelet decomposition[J]. Journal of Computer Applications, 2024, 44(10): 3300-3306.

图/表 12

参考文献 20

1	胡珉，白雪，徐伟，等.多维时间序列异常检测算法综述［J］.计算机应用，2020，40（6）：1553-1564.
	HU M， BAI X， XU W， et al. Review of anomaly detection algorithms for multidimensional time series［J］. Journal of Computer Applications，2020，40（6）：1553-1564.
2	ELMAN J L. Finding structure in time［J］. Cognitive Science， 1990， 14（2）：179-211.
3	LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.
4	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates， 2017： 6000-6010.
5	J-S CHOU， TELAGA A S. Real-time detection of anomalous power consumption［J］. Renewable and Sustainable Energy Reviews， 2014， 33： 400-411.
6	REDDY A， ORDWAY-WEST M， LEE M， et al. Using Gaussian mixture models to detect outliers in seasonal univariate network traffic［C］// Proceedings of the 2017 IEEE Security and Privacy Workshops. Piscataway： IEEE， 2017： 229-234.
7	MÜNZ G， LI S， CARLE G. Traffic anomaly detection using k-means clustering［EB/OL］. ［2023-10-01］. .
8	BREUNIG M M， H-P KRIEGEL， NG R T， et al. LOF： identifying density-based local outliers［C］// Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data. New York： ACM， 2000： 93-104.
9	ZHANG A， ZHAO X， WANG L. CNN and LSTM based encoder-decoder for anomaly detection in multivariate time series［C］// Proceedings of the 2021 IEEE 5th Information Technology， Networking， Electronic and Automation Control Conference. Piscataway： IEEE， 2021： 571-575.
10	HE Y， ZHAO J. Temporal convolutional networks for anomaly detection in time series［J］. Proceedings of the 2019 Journal of Physics： Conference Series， 2019： 1213（4）： 042050.
11	ZHANG C， SONG D， CHEN Y， et al. A deep neural network for unsupervised anomaly detection and diagnosis in multivariate time series data［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2019： 1409-1416.
12	TULI S， CASALE G， JENNINGS N R. TranAD： deep transformer networks for anomaly detection in multivariate time series data［J］. Proceedings of the VLDB Endowment， 2022， 15（6）： 1201-1214.
13	梁宏涛，刘硕，杜军威，等.深度学习应用于时序预测研究综述［J］.计算机科学与探索，2023，17（6）：1285-1300.
	LIANG H T， LIU S， DU J W， et al. Review of deep learning applied to time series prediction［J］. Journal of Frontiers of Computer Science and Technology，2023，17（6）：1285-1300.
14	WU H， HU T， LIU Y， et al. TimesNet： temporal 2D-variation modeling for general time series analysis ［EB/OL］. ［2023-04-12］. .
15	ABDULAAL A， LIU Z， LANCEWICKI T. Practical approach to asynchronous multivariate time series anomaly detection and localization［C］// Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. New York： ACM， 2021： 2485-2494.
16	SU Y， ZHAO Y， NIU C， et al. Robust anomaly detection for multivariate time series through stochastic recurrent neural network［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2019： 2828-2837.
17	LI D， CHEN D， JIN B， et al. MAD-GAN： multivariate anomaly detection for time series data with generative adversarial networks［C］// Proceedings of the 28th International Conference on Artificial Neural Networks. Berlin： Springer-Verlag， 2019： 703-716.
18	HUNDMAN K， CONSTANTINOU V， LAPORTE C， et al. Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2018： 387-395.
19	KINGMA D P， BA J. Adam： a method for stochastic optimization ［EB/OL］. ［2023-04-30］. .
20	PARK D， HOSHI Y， KEMP C C. A multimodal anomaly detector for robot-assisted feeding using an LSTM-based variational autoencoder［J］. IEEE Robotics and Automation Letters， 2018， 3（3）： 1544-1551.

数据集	维度	训练集大小	测试集大小	信息
PSM	25	132 481	87 841	服务器
SMD	38	708 405	708 420	服务器
SWaT	51	495 000	449 919	传感器
MSL	55	58 317	73 729	遥感
SMAP	25	135 183	427 617	遥感

数据集	维度	训练集大小	测试集大小	信息
PSM	25	132 481	87 841	服务器
SMD	38	708 405	708 420	服务器
SWaT	51	495 000	449 919	传感器
MSL	55	58 317	73 729	遥感
SMAP	25	135 183	427 617	遥感

方法	SWaT			SMD			MSL			SMAP			PSM
方法	P	R	F1	P	R	F1	P	R	F1	P	R	F1	P	R	F1
LSTM-ED	87.68	94.13	90.79	75.72	83.39	79.37	89.66	73.80	80.96	89.22	53.80	67.12	99.61	81.60	89.71
TCN	91.42	93.89	92.64	95.20	65.52	77.62	87.88	76.38	81.73	92.23	53.64	67.83	98.78	85.26	91.52
LSTM-VAE	88.37	94.29	91.23	76.22	83.98	79.91	89.68	75.29	81.86	91.00	61.37	73.30	99.32	86.94	92.71
MSCRED	99.66	71.54	83.29	68.12	85.34	75.76	89.72	75.66	82.09	89.56	54.97	70.06	98.71	83.66	90.56
Transformer	99.96	66.45	79.83	69.20	79.23	73.87	90.21	75.15	81.99	90.12	63.45	74.46	99.99	78.43	87.90
TranAD	99.56	69.32	81.73	68.44	79.96	73.75	90.62	74.91	82.02	89.72	56.54	69.36	99.42	84.12	91.13
WMAD	92.20	93.26	92.73	87.68	79.19	83.22	86.77	85.02	85.88	89.78	62.49	73.68	98.65	92.95	95.72

方法	SWaT			SMD			MSL			SMAP			PSM
方法	P	R	F1	P	R	F1	P	R	F1	P	R	F1	P	R	F1
LSTM-ED	87.68	94.13	90.79	75.72	83.39	79.37	89.66	73.80	80.96	89.22	53.80	67.12	99.61	81.60	89.71
TCN	91.42	93.89	92.64	95.20	65.52	77.62	87.88	76.38	81.73	92.23	53.64	67.83	98.78	85.26	91.52
LSTM-VAE	88.37	94.29	91.23	76.22	83.98	79.91	89.68	75.29	81.86	91.00	61.37	73.30	99.32	86.94	92.71
MSCRED	99.66	71.54	83.29	68.12	85.34	75.76	89.72	75.66	82.09	89.56	54.97	70.06	98.71	83.66	90.56
Transformer	99.96	66.45	79.83	69.20	79.23	73.87	90.21	75.15	81.99	90.12	63.45	74.46	99.99	78.43	87.90
TranAD	99.56	69.32	81.73	68.44	79.96	73.75	90.62	74.91	82.02	89.72	56.54	69.36	99.42	84.12	91.13
WMAD	92.20	93.26	92.73	87.68	79.19	83.22	86.77	85.02	85.88	89.78	62.49	73.68	98.65	92.95	95.72

方法	参数量/MB	平均每次迭代时间/s
WMAD	0.76	0.043
LSTM-ED	0.84	0.046
TCN	0.67	0.032
LSTM-VAE	0.79	0.045
MCRED	1.65	0.054
Transformer	3.65	0.059
TranAD	3.61	0.061

融合小波分解的多尺度时间序列异常检测

Multiscale time series anomaly detection incorporating wavelet decomposition

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 20

相关文章 15

编辑推荐

Metrics

[1]	任烈弘, 黄铝文, 田旭, 段飞. 基于DFT的频率敏感双分支Transformer多变量长时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2739-2746.
[2]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[3]	赵秦壮, 谭红叶. 基于自适应阈值学习的时序因果推断方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2660-2666.
[4]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[5]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[6]	范黎林, 曹富康, 王琬婷, 杨凯, 宋钊瑜. 基于需求模式自适应匹配的间歇性需求预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2747-2755.
[7]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[8]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[9]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[10]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[11]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[12]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[13]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[14]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[15]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.

数据集	epoch	batchsize	c	k	层数
PSM	5	128	64	3	6
SMD	5	128	128	3	6
SWaT	5	128	256	3	6
MSL	6	128	256	3	6
SMAP	6	128	64	3	6

数据集	epoch	batchsize	c	k	层数
PSM	5	128	64	3	6
SMD	5	128	128	3	6
SWaT	5	128	256	3	6
MSL	6	128	256	3	6
SMAP	6	128	64	3	6

方法	F1值
方法	SWaT	SMD	MSL	SMAP	PSM
WMAD	92.73	83.22	85.88	73.68	95.72
WMAD-A	87.48	81.79	79.71	68.17	89.91
WMAD-B	92.67	82.58	81.35	68.78	93.01
WMAD-C	92.58	80.96	80.37	68.77	92.97

方法	F1值
方法	SWaT	SMD	MSL	SMAP	PSM
WMAD	92.73	83.22	85.88	73.68	95.72
WMAD-A	87.48	81.79	79.71	68.17	89.91
WMAD-B	92.67	82.58	81.35	68.78	93.01
WMAD-C	92.58	80.96	80.37	68.77	92.97