面向多元时间序列异常检测的对称正定自编码器方法

doi:10.11772/j.issn.1001-9081.2023101521

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (10): 3294-3299.DOI: 10.11772/j.issn.1001-9081.2023101521

• 第40届CCF中国数据库学术会议(NDBC 2023) • 上一篇下一篇

面向多元时间序列异常检测的对称正定自编码器方法

蒋辉¹, 闫秋艳¹^,²(), 姜竹郡¹

^1.中国矿业大学计算机科学与技术学院，江苏徐州 221116
^2.中国矿业大学灾害智能防控与应急救援创新研究中心，江苏徐州 221116

收稿日期:2023-11-08 修回日期:2024-01-09 接受日期:2024-01-10 发布日期:2024-10-15 出版日期:2024-10-10
通讯作者: 闫秋艳
作者简介:蒋辉（1999—），男，江苏宿迁人，硕士研究生，CCF会员，主要研究方向：时序数据挖掘、异常检测
闫秋艳（1978—），女，江苏徐州人，副教授，博士，CCF会员，主要研究方向：多模态图像行为识别、教育大数据分析、时序数据挖掘 yanqy@cumt.edu.cn
姜竹郡（2000—），女，山东威海人，硕士研究生，主要研究方向：时序数据挖掘、异常检测。
基金资助:
国家自然科学基金资助项目(51934007);中国矿业大学研究生创新计划项目(2023WLJCRCZL261)

Symmetric positive definite autoencoder method for multivariate time series anomaly detection

Hui JIANG¹, Qiuyan YAN¹^,²(), Zhujun JIANG¹

^1.School of Computer Science and Technology，China University of Mining and Technology，Xuzhou Jiangsu 221116，China
^2.Innovation Research Center of Disaster Intelligent Prevention and Emergency Rescue，China University of Mining and Technology，Xuzhou Jiangsu 221116，China

Received:2023-11-08 Revised:2024-01-09 Accepted:2024-01-10 Online:2024-10-15 Published:2024-10-10
Contact: Qiuyan YAN
About author:JIANG Hui， born in 1999， M. S. candidate. His research interests include time series data mining， anomaly detection.
JIANG Zhujun， born in 2000， M. S. candidate. Her research interests include time series data mining， anomaly detection.
Supported by:
National Natural Science Foundation of China(51934007);Graduate Innovation Program of China University of Mining and Technology(2023WLJCRCZL261)

摘要/Abstract

摘要：

检测多元时间序列中的异常模式对工业生产、互联网服务等场景中复杂系统的正常运行有着重要意义。连续时间上的多维数据同时存在时间和空间两种类型的相互关系，但大多数现有方法欠缺对维度之间空间关系的建模，且由于多维数据构造的空间拓扑结构的复杂性，传统的神经网络模型较难保留已建模的空间关系。针对上述问题，提出一种面向多元时间序列异常检测的对称正定自编码器（SPDAE）方法。使用高斯核函数计算原始数据2个维度之间的相互关系，生成多步长、多窗口的对称正定（SPD）矩阵，以捕捉多元时间序列的时空特征；同时，设计一个类卷积自编码器（AE）网络，编码器阶段以SPD特征矩阵为输入，解码器阶段则引入注意力机制聚合每层编码器得到的多步长数据，实现多尺度时空特征的重构；特别地，为保留输入数据的空间结构，编码解码器的每一层和损失计算部分分别使用符合流形拓扑的类卷积操作更新模型权重和Log-Euclidean度量计算重构误差。在私有数据集上的实验结果表明，SPDAE方法的精度指标相较于次优基线模型MSCRED（Multi-Scale Convolutional Recurrent Encoder-Decoder）提升了2.3个百分点，F1值指标相较于次优的基线模型长短期记忆编码器-解码器网络（LSTM-ED）提升了3.0个百分点；同时，由于采用了SPD矩阵表征多维数据之间的空间关系，根据重构矩阵的差异值可以实现异常维度的初步定位。

关键词: 多元时间序列, 异常检测, 深度学习, 自编码器, 非欧流形

Abstract:

Detecting abnormal patterns in multivariate time series is of great importance for the normal operation of complex systems in industrial production， Internet services， and other scenarios. Multidimensional data on continuous time has both temporal and spatial relationships， but most existing methods are deficient in modeling spatial relationships between dimensions. Due to the complexity of the spatial topology structure constructed by multidimensional data， traditional neural network models have difficulty in preserving well-modeled spatial relationships. To address these problems， an SPDAE （Symmetric Positive Definite AutoEncoder） method for multivariate time series anomaly detection was proposed. Gaussian kernel function was used to calculate the mutual relationship between two dimensions of the original data， multi-step and multi-window SPD （Symmetric Positive Definite） matrices were generated to capture the spatiotemporal features of multivariate time series. At the same time， a convolution-like AutoEncoder （AE） network was designed. The SPD feature matrix was taken as input at encoder stage， and an attention mechanism was introduced at the decoder stage to aggregate multi-step data obtained by each layer of the encoder to achieve multi-scale spatiotemporal feature reconstruction. In particular， in order to preserve the spatial structure of the input data， a convolution-like operation that conforms to the manifold topology was used by each layer of the encoder and the decoder to update model weights and a Log-Euclidean metric was used to calculate the reconstruction error. Experimental results on a private dataset show that the SPDAE method improves the precision by 2.3 percentage points compared to the suboptimal baseline model MSCRED （Multi-Scale Convolutional Recurrent Encoder-Decoder） and the F1 score by 3.0 percentage points compared to the suboptimal baseline model LSTM-ED （Long Short-Term Memory network based Encoder-Decoder）. At the same time， due to the use of SPD matrices to represent spatial relationships between multidimensional data， according to the difference value of its reconstructed matrix， preliminary positioning of abnormal dimensions can be achieved.

Key words: multivariate time series, anomaly detection, deep learning, AutoEncoder (AE), non-Euclidean manifold

中图分类号:

TP311.13

蒋辉, 闫秋艳, 姜竹郡. 面向多元时间序列异常检测的对称正定自编码器方法[J]. 计算机应用, 2024, 44(10): 3294-3299.

Hui JIANG, Qiuyan YAN, Zhujun JIANG. Symmetric positive definite autoencoder method for multivariate time series anomaly detection[J]. Journal of Computer Applications, 2024, 44(10): 3294-3299.

图/表 11

图1 SPDAE的框架

Fig. 1 Architecture of SPDAE

图2 注意力模块

Fig. 2 Attention module

图3 损失计算模块

Fig. 3 Loss calculation module

图4 Private数据集某段正常数据和某段异常数据

Fig. 4 Segments of normal data and abnormal data in Private dataset

表1 SWaT和PSM上的实验结果 (%)

Tab. 1 Experimental results on SWaT and PSM

模型	SWaT			PSM
模型	P	R	F₁	P	R	F₁
VAE	76.0	89.5	82.2	73.6	89.9	80.9
LSTM-ED	78.0	91.7	84.3	62.7	96.5	76.0
OmniAnomaly	72.2	98.3	83.2	88.3	74.4	80.8
MSCRED	98.4	77.6	86.8	85.2	67.0	75.0
TranAD	97.6	69.9	81.5	83.9	72.4	77.4
SPDAE	83.0	87.8	85.4	92.3	77.7	84.4

表2 在MSL和Private上的实验结果 (%)

Tab. 2 Experimental results on MSL and Private

模型	MSL			Private
模型	P	R	F₁	P	R	F₁
VAE	78.1	81.3	79.7	67.4	63.4	65.3
LSTM-ED	52.5	95.4	67.8	66.8	98.1	79.5
OmniAnomaly	88.7	91.2	89.9	56.4	99.3	71.9
MSCRED	68.8	88.5	77.4	79.5	79.3	79.4
TranAD	96.6	80.5	87.8	65.9	84.8	74.2
SPDAE	80.3	75.2	77.7	81.8	83.1	82.5

图5 两种方法对正常数据重构的热力图

Fig. 5 Heatmaps of normal data reconstructed by two methods

图6 两种方法对异常数据重构的热力图

Fig. 6 Heatmaps of abnormal data reconstructed by two methods

表3 消融实验结果 (%)

Tab. 3 Results of ablation experiments

模型	SWaT			PSM
模型	P	R	F₁	P	R	F₁
SPDAE	83.0	87.8	85.4	92.3	77.7	84.4
-attention	87.9	78.5	82.9	77.8	83.9	80.7
-multiwin	64.2	88.3	74.3	70.5	89.1	78.7
-spd	72.6	65.0	68.6	68.1	78.3	72.8

图7 时间窗口w组合实验结果

Fig. 7 Experiment results of combination time windows w

图8 聚合时间点步长h实验结果

Fig. 8 Experiment results of aggregation time point step h

参考文献 19

1	李金华. 德国“工业4.0”与“中国制造2025”的比较及启示［J］. 中国地质大学学报（社会科学版）， 2015， 15（5）： 71-79.
	LI J H. Comparison and enlightenment of Germany’s “Industry 4.0” and “Made in China 2025”［J］. Journal of China University of Geosciences （Social Sciences Edition）， 2015， 15（5）： 71-79.
2	HYNDMAN R J， ATHANASOPOULOS G. Forecasting： Principles and Practice［M］. 2nd ed. Melbourne， Australia： OTexts， 2018：27-46.
3	LI J， LI F， TODOROVIC S. Efficient Riemannian optimization on the Stiefel manifold via the Cayley transform ［EB/OL］. （2020-02-04）［2023-04-20］. .
4	HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks［J］. Science， 2006，313（5786）： 504-507.
5	BLÁZQUEZ-GARCÍA A， CONDE A， MORI U， et al. A review on outlier/anomaly detection in time series data［J］. ACM Computing Surveys， 2021， 54（3）： Article No. 56.
6	QIN Y， SONG D， CHEN H， et al. A dual-stage attention-based recurrent neural network for time series prediction ［EB/OL］. （2017-08-14）［2023-04-20］. .
7	SU Y， ZHAO Y， NIU C， et al. Robust anomaly detection for multivariate time series through stochastic recurrent neural network［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2019： 2828-2837.
8	ZHANG C， SONG D， CHEN Y， et al. A deep neural network for unsupervised anomaly detection and diagnosis in multivariate time series data［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2019： 1409-1416.
9	LI Z， ZHAO Y， HAN J， et al. Multivariate time series anomaly detection and interpretation using hierarchical inter-metric and temporal embedding［C］// Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. New York：ACM， 2021： 3220-3230.
10	DENG A， HOOI B. Graph neural network-based anomaly detection in multivariate time series［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021： 4027-4035.
11	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates， 2017： 6000-6010.
12	WEN Q， ZHOU T， ZHANG C， et al. Transformers in time series： a survey ［EB/OL］. （2023-05-11）［2023-06-05］. .
13	HUANG Z， VAN GOOL L. A Riemannian network for SPD matrix learning［C］// Proceedings of the 31st AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2017： 2036-2042.
14	MATHUR A P， TIPPENHAUER N O. SWaT： a water treatment testbed for research and training on ICS security［C］// Proceedings of the 2016 International Workshop on Cyber-Physical Systems for Smart Water Networks. Piscataway： IEEE， 2016： 31-36.
15	HUNDMAN K， CONSTANTINOU V， LAPORTE C， et al. Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2018： 387-395.
16	ABDULAAL A， LIU Z， LANCEWICKI T. Practical approach to asynchronous multivariate time series anomaly detection and localization［C］// Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. New York： ACM， 2021： 2485-2494.
17	KINGMA D P， BA J. Adam： a method for stochastic optimization ［EB/OL］. （2017-01-30）［2023-04-20］. .
18	PARK D， HOSHI Y， KEMP C C. A multimodal anomaly detector for robot-assisted feeding using an LSTM-based variational autoencoder［J］. IEEE Robotics and Automation Letters， 2018， 3（3）： 1544-1551.
19	TULI S， CASALE G， JENNINGS N R. TranAD： deep Transformer networks for anomaly detection in multivariate time series data ［EB/OL］. （2022-05-14）［2023-04-20］. .

[1]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[2]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[3]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[4]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[5]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[6]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[7]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[8]	邓凯丽, 魏伟波, 潘振宽. 改进掩码自编码器的工业缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2595-2603.
[9]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[10]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[11]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[12]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[13]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[14]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[15]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.

面向多元时间序列异常检测的对称正定自编码器方法

Symmetric positive definite autoencoder method for multivariate time series anomaly detection

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 19

相关文章 15

编辑推荐

Metrics