基于多尺度特征融合的时间序列长期预测模型

doi:10.11772/j.issn.1001-9081.2023111705

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (11): 3435-3441.DOI: 10.11772/j.issn.1001-9081.2023111705

基于多尺度特征融合的时间序列长期预测模型

刘文博¹, 于连飞¹, 谢冬梅¹, 蔡闯¹, 曲志坚¹(), 任崇广¹^,²

^1.山东理工大学计算机科学与技术学院，山东淄博 255049
^2.济南浪潮数据技术有限公司，济南 250000

收稿日期:2023-12-11 修回日期:2024-05-23 接受日期:2024-05-24 发布日期:2024-07-25 出版日期:2024-11-10
通讯作者: 曲志坚
作者简介:刘文博（1998—），男，山东菏泽人，硕士，CCF会员，主要研究方向：云计算、大数据分析
于连飞（1998—），男，河南周口人，硕士，主要研究方向：云计算、大数据分析
谢冬梅（1998—），女，山东淄博人，硕士，主要研究方向：云计算、大数据分析
蔡闯（1999—），男，山东菏泽人，硕士，主要研究方向：云计算、大数据分析
任崇广（1982—），男，山东临沂人，教授，博士，主要研究方向：云计算、人工智能。
基金资助:
山东省高等学校青年创新团队发展计划项目(2019KJN48)

Long-term prediction model of time series based on multi-scale feature fusion

Wenbo LIU¹, Lianfei YU¹, Dongmei XIE¹, Chuang CAI¹, Zhijian QU¹(), Chongguang REN¹^,²

^1.School of Computer Science and Technology，Shandong University of Technology，Zibo Shandong 255049，China
^2.Jinan Inspur Data Technology Company Limited，Jinan Shandong 250000，China

Received:2023-12-11 Revised:2024-05-23 Accepted:2024-05-24 Online:2024-07-25 Published:2024-11-10
Contact: Zhijian QU
About author:LIU Wenbo， born in 1998， M. S. His research interests include cloud computing， big data analysis.
YU Lianfei， born in 1998， M. S. His research interests include cloud computing， big data analysis.
XIE Dongmei， born in 1998， M. S. Her research interests include cloud computing， big data analysis.
CAI Chuang， born in 1999， M. S. His research interests include cloud computing， big data analysis.
REN Chongguang， born in 1982， Ph. D.， professor. His research interests include cloud computing， artificial intelligence.
Supported by:
Youth Innovation Team Development Program of Shandong Provincial Higher Educational Institutes(2019KJN048)

摘要/Abstract

摘要：

长期时间序列预测在多个领域中具有广泛的应用需求。但是，时间序列的长期预测过程中表现出的非平稳性问题是影响预测准确性的关键因素。为了提高时间序列长期预测精度，以及预测模型的普适性，构建了基于序列分解的多尺度融合注意力神经网络预测网络（MSDFAN）模型。该模型采用时间序列分解提取输入数据中的季节成分和趋势成分，对不同数据成分进行不同的预测建模，能够对具有多尺度稳定特征的非平稳时间成分进行建模和预测。实验结果表明，与FEDformer相比，MSDFAN在5个基准数据集上的预测结果的均方误差（MSE）和平均绝对误差（MAE）分别平均下降了12.95%和8.49%，MSDFAN模型在多变量时间序列上取得了更好的预测精度。

关键词: 长期预测, 深度学习, 序列分解, 多特征融合, 非平稳性

Abstract:

Long-term time series prediction has a wide range of application requirements in many fields. However， the non-stationarity problem shown in the long-term prediction process of time series is a key factor affecting the prediction accuracy. To improve the long-term prediction accuracy of time series and the universality of prediction model， a Multi?Scale Decomposition Fusion Attention Network （MSDFAN） was constructed. The model uses time series decomposition to extract seasonal components and trend components in the input data， and models different predictions for different data components， and is able to model and predict non?stationary time components with multi?scale stability characteristics. Experimental results show that compared with FEDformer， the Mean Squared Error （MSE） and Mean Absolute Error （MAE） of MSDFAN on five benchmark datasets are reduced by 12.95% and 8.49%， averagely and respectively. MSDFAN achieves a better prediction accuracy on multivariate time series.

Key words: long-term prediction, deep learning, series decomposition, multi-feature fusion, non-stationarity

中图分类号:

TP183

刘文博, 于连飞, 谢冬梅, 蔡闯, 曲志坚, 任崇广. 基于多尺度特征融合的时间序列长期预测模型[J]. 计算机应用, 2024, 44(11): 3435-3441.

Wenbo LIU, Lianfei YU, Dongmei XIE, Chuang CAI, Zhijian QU, Chongguang REN. Long-term prediction model of time series based on multi-scale feature fusion[J]. Journal of Computer Applications, 2024, 44(11): 3435-3441.

图/表 9

参考文献 25

1	GAO M， WEI Y. Traffic prediction based on a novel deep learning model： TPBERT［C］// Proceedings of the 6th International Conference on Artificial Intelligence and Big Data. Piscataway： IEEE， 2023： 241-248.
2	YILMAZ F M， YILDIZTEPE E. Statistical evaluation of deep learning models for stock return forecasting［J］. Computational Economics， 2024， 63（1）： 221-244.
3	HEWAGE P， TROVATI M， PEREIRA E， et al. Deep learning-based effective fine-grained weather forecasting model［J］. Pattern Analysis and Applications， 2021， 24： 343-366.
4	陈阳，冀天娇，刘宏图，等. 基于长短时记忆神经网络的手足口病发病趋势预测［J］. 计算机应用， 2021， 41（1）： 265-269.
	CHEN Y， JI T J， LIU H T， et al. Incidence trend prediction of hand-foot-mouth disease based on long short-term memory neural network［J］. Journal of Computer Applications， 2021， 41（1）： 265-269.
5	MOHAN D P， SUBATHRA M S P. A comprehensive review of various machine learning techniques used in load forecasting［J］. Recent Advances in Electrical and Electronic Engineering， 2023， 16（3）： 197-210.
6	LANER M， SVOBODA P， RUPP M. Parsimonious fitting of long-range dependent network traffic using ARMA models［J］. IEEE Communications Letters， 2013， 17（12）： 2368-2371.
7	DE O SANTOS JÚNIOR D S， DE OLIVEIRA J F L， DE MATTOS NETO P S G. An intelligent hybridization of ARIMA with machine learning models for time series forecasting［J］. Knowledge-Based Systems， 2019， 175： 72-86.
8	SALINAS D， FLUNKERT V， GASTHAUS J， et al. DeepAR： probabilistic forecasting with autoregressive recurrent networks［J］. International Journal of Forecasting， 2020， 36（3）： 1181-1191.
9	YANG H， LI X， QIANG W， et al. A network traffic forecasting method based on SA optimized ARIMA-BP neural network［J］. Computer Networks， 2021， 193： No.108102.
10	LI Y， WU K， LIU J. Self-paced ARIMA for robust time series prediction［J］. Knowledge-Based Systems， 2023， 269： No.110489.
11	VINAYAKUMAR R， SOMAN K P， POORNACHANDRAN P. Applying deep learning approaches for network traffic prediction［C］// Proceedings of the 2017 International Conference on Advances in Computing， Communications and Informatics. Piscataway： IEEE， 2017： 2353-2358.
12	RAMAKRISHNAN N， SONI T. Network traffic prediction using recurrent neural networks［C］// Proceedings of the 17th IEEE International Conference on Machine Learning and Applications. Piscataway： IEEE， 2018： 187-193.
13	FAN J， MU D， LIU Y. Research on network traffic prediction model based on neural network［C］// Proceedings of the 2nd International Conference on Information Systems and Computer Aided Education. Piscataway： IEEE， 2019： 554-557.
14	LAZARIS A， PRASANNA V K. An LSTM framework for modeling network traffic［C］// Proceedings of the 2019 IFIP/IEEE Symposium on Integrated Network and Service Management. Piscataway： IEEE， 2019： 19-24.
15	DU S， XU Z， LV J. An EMD- and GRU-based hybrid network traffic prediction model with data reconstruction［C］// Proceedings of the 2021 IEEE International Conference on Communications Workshops. Piscataway： IEEE， 2021： 1-7.
16	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.
17	ZHAO L， SONG Y， ZHANG C， et al. T-GCN： a temporal graph convolutional network for traffic prediction［J］. IEEE Transactions on Intelligent Transportation Systems， 2020， 21（9）： 3848-3858.
18	YANG L， GU X， SHI H. A noval satellite network traffic prediction method based on GCN-GRU［C］// Proceedings of the 2020 International Conference on Wireless Communications and Signal Processing. Piscataway： IEEE， 2020： 718-723.
19	RASUL K， SEWARD C， SCHUSTER I， et al. Autoregressive denoising diffusion models for multivariate probabilistic time series forecasting［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR， 2021： 8857-8868.
20	HE K， CHEN X， WU Q， et al. Graph attention spatial-temporal network with collaborative global-local learning for citywide mobile traffic prediction［J］. IEEE Transactions on Mobile Computing， 2022， 21（4）： 1244-1256.
21	LAI G， CHANG W C， YANG Y， et al. Modeling long- and short-term temporal patterns with deep neural networks［C］// Proceedings of the 41st International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2018： 95-104.
22	LI S， JIN X， XUAN Y， et al. Enhancing the locality and breaking the memory bottleneck of Transformer on time series forecasting［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2019： 5243-5253.
23	ZHOU H， ZHANG S， PENG J， et al. Informer： beyond efficient Transformer for long sequence time-series forecasting［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 11106-11115.
24	WU H， XU J， WANG J， et al. Autoformer： decomposition Transformers with auto-correlation for long-term series forecasting［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2021： 22419-22430.
25	ZHOU T， MA Z， WEN Q， et al. FEDformer： frequency enhanced decomposed Transformer for long-term series forecasting［C］// Proceedings of the 39th International Conference on Machine Learning. New York： JMLR， 2022： 27268-27286.

数据集	序列长度	特征数	采样频率/min
ETTm2	69 680	8	15
ECL	26 304	322	60
Exchange	7 588	9	1 440
Traffic	17 544	863	60
Weather	2 696	22	10

数据集	序列长度	特征数	采样频率/min
ETTm2	69 680	8	15
ECL	26 304	322	60
Exchange	7 588	9	1 440
Traffic	17 544	863	60
Weather	2 696	22	10

数据集	预测长度	MSDFAN-mlp		MSDFAN-mean		FEDformer-f		FEDformer-w		Autoformer		Informer
数据集	预测长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
ETTm2	96	0.180	0.272	0.186	0.276	0.203	0.287	0.204	0.288	0.255	0.339	0.365	0.453
	192	0.270	0.344	0.255	0.317	0.269	0.328	0.316	0.363	0.281	0.340	0.533	0.563
	336	0.351	0.399	0.311	0.351	0.325	0.366	0.359	0.387	0.339	0.372	1.363	0.887
	720	0.484	0.475	0.408	0.405	0.421	0.415	0.433	0.432	0.422	0.419	3.379	1.388
Electricity	96	0.163	0.275	0.177	0.288	0.193	0.308	0.183	0.297	0.201	0.317	0.274	0.368
	192	0.180	0.291	0.244	0.338	0.201	0.315	0.195	0.308	0.222	0.334	0.296	0.386
	336	0.195	0.306	0.207	0.315	0.214	0.329	0.212	0.313	0.231	0.338	0.300	0.394
	720	0.217	0.325	0.239	0.339	0.246	0.355	0.231	0.343	0.254	0.361	0.373	0.439
Exchange	96	0.080	0.203	0.147	0.274	0.148	0.278	0.139	0.276	0.197	0.323	0.847	0.752
	192	0.159	0.298	0.255	0.363	0.271	0.380	0.256	0.369	0.300	0.369	1.204	0.895
	336	0.280	0.402	0.416	0.469	0.460	0.500	0.426	0.464	0.509	0.524	1.672	1.036
	720	0.583	0.591	1.079	0.789	1.195	0.841	1.090	0.800	1.447	0.941	2.478	1.310
Traffic	96	0.544	0.328	0.564	0.346	0.587	0.366	0.562	0.349	0.613	0.388	0.719	0.391
	192	0.557	0.337	0.575	0.351	0.604	0.373	0.562	0.346	0.616	0.382	0.696	0.379
	336	0.558	0.320	0.599	0.365	0.621	0.383	0.570	0.323	0.622	0.337	0.777	0.420
	720	0.587	0.337	0.604	0.361	0.626	0.382	0.596	0.368	0.660	0.408	0.864	0.472
Weather	96	0.206	0.277	0.232	0.306	0.217	0.296	0.227	0.304	0.266	0.336	0.300	0.384
	192	0.243	0.308	0.288	0.349	0.276	0.336	0.295	0.363	0.307	0.367	0.598	0.544
	336	0.280	0.327	0.371	0.404	0.339	0.380	0.381	0.416	0.359	0.395	0.578	0.523
	720	0.346	0.382	0.438	0.445	0.403	0.428	0.424	0.434	0.419	0.428	1.059	0.741

数据集	预测长度	MSDFAN-mlp		MSDFAN-mean		FEDformer-f		FEDformer-w		Autoformer		Informer
数据集	预测长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
ETTm2	96	0.180	0.272	0.186	0.276	0.203	0.287	0.204	0.288	0.255	0.339	0.365	0.453
	192	0.270	0.344	0.255	0.317	0.269	0.328	0.316	0.363	0.281	0.340	0.533	0.563
	336	0.351	0.399	0.311	0.351	0.325	0.366	0.359	0.387	0.339	0.372	1.363	0.887
	720	0.484	0.475	0.408	0.405	0.421	0.415	0.433	0.432	0.422	0.419	3.379	1.388
Electricity	96	0.163	0.275	0.177	0.288	0.193	0.308	0.183	0.297	0.201	0.317	0.274	0.368
	192	0.180	0.291	0.244	0.338	0.201	0.315	0.195	0.308	0.222	0.334	0.296	0.386
	336	0.195	0.306	0.207	0.315	0.214	0.329	0.212	0.313	0.231	0.338	0.300	0.394
	720	0.217	0.325	0.239	0.339	0.246	0.355	0.231	0.343	0.254	0.361	0.373	0.439
Exchange	96	0.080	0.203	0.147	0.274	0.148	0.278	0.139	0.276	0.197	0.323	0.847	0.752
	192	0.159	0.298	0.255	0.363	0.271	0.380	0.256	0.369	0.300	0.369	1.204	0.895
	336	0.280	0.402	0.416	0.469	0.460	0.500	0.426	0.464	0.509	0.524	1.672	1.036
	720	0.583	0.591	1.079	0.789	1.195	0.841	1.090	0.800	1.447	0.941	2.478	1.310
Traffic	96	0.544	0.328	0.564	0.346	0.587	0.366	0.562	0.349	0.613	0.388	0.719	0.391
	192	0.557	0.337	0.575	0.351	0.604	0.373	0.562	0.346	0.616	0.382	0.696	0.379
	336	0.558	0.320	0.599	0.365	0.621	0.383	0.570	0.323	0.622	0.337	0.777	0.420
	720	0.587	0.337	0.604	0.361	0.626	0.382	0.596	0.368	0.660	0.408	0.864	0.472
Weather	96	0.206	0.277	0.232	0.306	0.217	0.296	0.227	0.304	0.266	0.336	0.300	0.384
	192	0.243	0.308	0.288	0.349	0.276	0.336	0.295	0.363	0.307	0.367	0.598	0.544
	336	0.280	0.327	0.371	0.404	0.339	0.380	0.381	0.416	0.359	0.395	0.578	0.523
	720	0.346	0.382	0.438	0.445	0.403	0.428	0.424	0.434	0.419	0.428	1.059	0.741

数据集	预测长度	MSDFAN-full		MSDFAN-conv		MSDFAN-avg
数据集	预测长度	MSE	MAE	MSE	MAE	MSE	MAE
ETTm2	96	0.180	0.272	0.183	0.280	0.198	0.295
	192	0.270	0.344	0.273	0.349	0.280	0.353
	336	0.351	0.399	0.351	0.400	0.352	0.401
	720	0.484	0.475	0.483	0.475	0.479	0.474
Electricity	96	0.163	0.275	0.169	0.282	0.206	0.314
	192	0.180	0.291	0.182	0.293	0.209	0.318
	336	0.195	0.306	0.205	0.316	0.222	0.330
	720	0.217	0.325	0.229	0.336	0.247	0.352
Exchange	96	0.080	0.203	0.084	0.210	0.086	0.215
	192	0.159	0.298	0.174	0.317	0.168	0.309
	336	0.280	0.402	0.286	0.409	0.292	0.412
	720	0.583	0.591	0.696	0.647	0.730	0.650
Traffic	96	0.544	0.328	0.560	0.339	0.582	0.359
	192	0.557	0.337	0.580	0.346	0.593	0.359
	336	0.558	0.320	0.606	0.359	0.612	0.369
	720	0.587	0.337	0.599	0.348	0.647	0.382
Weather	96	0.206	0.277	0.241	0.316	0.240	0.318
	192	0.243	0.308	0.264	0.319	0.308	0.363
	336	0.280	0.327	0.329	0.370	0.362	0.395
	720	0.346	0.382	0.368	0.397	0.374	0.398

基于多尺度特征融合的时间序列长期预测模型

Long-term prediction model of time series based on multi-scale feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 25

相关文章 15

编辑推荐

Metrics

历史序列长度	MAE	MSE	历史序列长度	MAE	MSE
10	0.306	0.548	40	0.304	0.539
20	0.295	0.530	50	0.321	0.542
30	0.317	0.541

数据集	预测长度	MSDFAN-mlp		MSDFAN-mean		FEDformer-f		FEDformer-w		Autoformer		Informer
数据集	预测长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
IN	20	0.530	0.311	0.530	0.295	0.543	0.302	0.689	0.441	0.586	0.308	2.299	0.601
	60	0.649	0.406	0.641	0.377	0.708	0.401	0.813	0.416	0.703	0.380	2.190	0.577
	220	0.654	0.412	0.708	0.443	1.293	0.718	1.670	0.873	0.880	0.440	2.373	0.646
	480	0.597	0.390	0.690	0.425	0.834	0.488	0.792	0.510	0.848	0.437	2.120	0.629
OUT	20	0.595	0.335	0.589	0.318	0.600	0.323	0.734	0.423	0.627	0.325	2.443	0.763
	60	0.771	0.434	0.767	0.381	0.810	0.395	0.804	0.409	0.819	0.396	2.643	0.651
	220	0.826	0.477	0.887	0.485	1.417	0.725	1.876	0.893	1.069	0.494	2.729	0.697
	480	0.766	0.465	0.901	0.533	1.022	0.546	0.958	0.564	1.046	0.500	2.929	0.721

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[3]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[4]	任烈弘, 黄铝文, 田旭, 段飞. 基于DFT的频率敏感双分支Transformer多变量长时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2739-2746.
[5]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[6]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[7]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[8]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[9]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[10]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[11]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[12]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.
[13]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[14]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[15]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.