基于神经网络的多尺度信息融合时间序列长期预测模型

doi:10.11772/j.issn.1001-9081.2024070930

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (6): 1776-1783.DOI: 10.11772/j.issn.1001-9081.2024070930

• 第十二届CCF大数据学术会议 • 上一篇

基于神经网络的多尺度信息融合时间序列长期预测模型

李岚皓¹^,², 严皓钧¹, 周号益¹^,³(), 孙庆赟¹^,², 李建欣¹^,²

^1.北京航空航天大学计算机学院，北京 100191
^2.北京市大数据科学与脑机智能高精尖创新中心（北京航空航天大学），北京 100191
^3.北京航空航天大学软件学院，北京 100191

收稿日期:2024-07-04 修回日期:2024-10-21 接受日期:2024-10-22 发布日期:2024-12-04 出版日期:2025-06-10
通讯作者: 周号益
作者简介:李岚皓（1997—），男，辽宁鞍山人，博士研究生，CCF会员，主要研究方向：时序数据分析
严皓钧（2003—），男，湖南永顺人，主要研究方向：时序数据生成
孙庆赟（1996—），女，山东聊城人，助理教授，博士，CCF会员，主要研究方向：图数据挖掘
李建欣（1979—），男，内蒙古赤峰人，教授，博士，CCF杰出会员，主要研究方向：大数据分析。
基金资助:
国家杰出青年科学基金资助项目(62225202);国家自然科学基金青年科学基金资助项目(62202029);第九届中国科协青年人才托举工程项目(2023QNRC001)

Multi-scale information fusion time series long-term forecasting model based on neural network

Lanhao LI¹^,², Haojun YAN¹, Haoyi ZHOU¹^,³(), Qingyun SUN¹^,², Jianxin LI¹^,²

^1.School of Computer Science and Engineering，Beihang University，Beijing 100191，China
^2.Beijing Advanced Innovation Center for Big Data and Brain Computing （Beihang University），Beijing 100191，China
^3.School of Software，Beihang University，Beijing 100191，China

Received:2024-07-04 Revised:2024-10-21 Accepted:2024-10-22 Online:2024-12-04 Published:2025-06-10
Contact: Haoyi ZHOU
About author:LI Lanhao， born in 1997， Ph. D. candidate. His research interests include time series data analysis.
YAN Haojun， born in 2003. His research interests include time series data generation.
SUN Qingyun， born in 1996， Ph. D.， assistant professor. Her research interests include graph data mining.
LI Jianxin， born in 1979， Ph. D.， professor. His research interests include big data analysis.
Supported by:
National Natural Science Foundation of China for Distinguished Young Scholars(62225202);Young Scientists Fund of National Natural Science Foundation of China(62202029);Project of the 9th Young Elite Scientists Sponsorship Program by CAST(2023QNRC001)

摘要/Abstract

摘要：

时间序列数据广泛来源于社会各个领域，从气象学到金融学再到医学，准确的长期预测是时间序列数据分析、处理与研究中的一个关键问题。针对时间序列数据中存在的不同尺度相关性的挖掘与利用，提出一种基于神经网络的多尺度信息融合时间序列长期预测模型ScaleNN，旨在更好地处理时间序列数据中的多尺度问题，从而实现更准确的长期预测。首先，结合全连接神经网络和卷积神经网络，有效提取全局信息与局部信息，并将2种信息聚合后进行预测；其次，通过在全局信息表征模块中引入压缩机制，以更轻量化的结构接受更长的序列输入，增大模型的感知范围并提高模型效能。大量实验结果表明，ScaleNN在多个真实世界数据集上的性能优于当前该领域的优秀模型PatchTST （Patch Time Series Transformer），在运行时间降低35%的同时仅需19%的参数量。可见，ScaleNN可广泛应用于不同领域的时间序列预测问题，为交通流量预测、天气预报等领域提供预测的基础。

关键词: 时间序列, 大数据, 数据挖掘, 深度学习, 序列预测

Abstract:

Time series data come from a wide range of social fields， from meteorology to finance and to medicine. Accurate long-term prediction is a key issue in time series data analysis， processing， and research. Aiming at exploitation and utilization of the correlation of different scales in time series data， a multi-scale information fusion time series long-term forecasting model based on neural network — ScaleNN was proposed with the purpose of better handling multi-scale problem in time series data to achieve more accurate long-term forecast. Firstly， fully connected neural network and convolutional neural network were combined to extract both global and local information effectively， and the two were aggregated for prediction. Then， by introducing a compression mechanism in the global information representation module， longer sequence input was accepted with a lighter structure， which increased perceptual range of the model and improved the model’s performance. Numerous experimental results demonstrate that ScaleNN outperforms the current excellent model in this field — PatchTST （Patch Time Series Transformer） on multiple real-world datasets. In specific， the running time is shortened by 35% with only 19% parameters required. It can be seen that ScaleNN can be applied to time series prediction problems in various fields widely， providing a foundation for forecasting in areas such as traffic flow prediction and weather forecasting.

Key words: time series, big data, data mining, deep learning, series forecasting

中图分类号:

TP183

李岚皓, 严皓钧, 周号益, 孙庆赟, 李建欣. 基于神经网络的多尺度信息融合时间序列长期预测模型[J]. 计算机应用, 2025, 45(6): 1776-1783.

Lanhao LI, Haojun YAN, Haoyi ZHOU, Qingyun SUN, Jianxin LI. Multi-scale information fusion time series long-term forecasting model based on neural network[J]. Journal of Computer Applications, 2025, 45(6): 1776-1783.

图/表 6

参考文献 30

1	BROCKWELL P J， DAVIS R A. Time series： theory and methods， SSS［M］. New York： Springer， 1991： 1-2.
2	ELMUNIM N， ABDULLAH M， HASBI A M， et al. Comparison of statistical Holt-Winter models for forecasting the ionospheric delay using GPS observations［J］. Indian Journal of Radio and Space Physics， 2015， 44（1）： 28-34.
3	RODRIGUES P M M， GOUVEIA P M D C B. An application of PAR models for tourism forecasting ［J］. Tourism Economics， 2004， 10（3）： 281-303.
4	KAUR J， PARMAR K S， SINGH S. Autoregressive models in environmental forecasting time series： a theoretical and application review ［J］. Environmental Science and Pollution Research， 2023， 30（8）： 19617-19641.
5	AGANA N A， HOMAIFAR A. EMD-based predictive deep belief network for time series prediction： an application to drought forecasting ［J］. Hydrology， 2018， 5（1）： No.18.
6	洪永淼，汪寿阳. 大数据、机器学习与统计学：挑战与机遇［J］. 计量经济学报， 2021， 1（1）：17-35.
	HONG Y M， WANG S Y. Big data， machine learning and statistics： challenges and opportunities［J］. China Journal of Econometrics， 2021， 1（1）：17-35.
7	ELMAN J L. Finding structure in time［J］. Cognitive Science， 1990， 14（2）： 179-211.
8	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
9	POPESCU M C， BALAS V E， PERESCU-POPESCU L， et al. Multilayer perceptron and neural networks［J］. WSEAS Transactions on Circuits and Systems， 2009， 8（7）： 579-588.
10	ZHOU H， ZHANG S， PENG J， et al. Informer： beyond efficient transformer for long sequence time-series forecasting［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021： 11106-11115.
11	WU H， XU J， WANG J， et al. Autoformer： decomposition transformers with auto-correlation for long-term series forecasting［C］// Proceedings of the 35th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2021： 22419-22430.
12	ZENG A， CHEN M， ZHANG L， et al. Are Transformers effective for time series forecasting？［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2023： 11121-11128.
13	NIE Y， NGUYEN N H， SINTHONG P， et al. A time series is worth 64 words： long-term forecasting with Transformers ［EB/OL］. ［2024-06-22］..
14	KIM T， KIM J， TAE Y， et al. Reversible instance normalization for accurate time-series forecasting against distribution shift［EB/OL］. ［2024-06-22］..
15	ZHOU T， MA Z， WEN Q， et al. FEDformer： frequency enhanced decomposed Transformer for long-term series forecasting［C］// Proceedings of the 39th International Conference on Machine Learning. New York： JMLR.org， 2022： 27268-27286.
16	TAYLOR S J， LETHAM B. Forecasting at scale［J］. The American Statistician， 2018， 72（1）： 37-45.
17	GRAVES A. Long short-term memory［M］// Supervised sequence labelling with recurrent neural networks， SCI 385. Berlin： Springer， 2012： 37-45.
18	CHUNG J， GULCEHRE C， CHO K， et al. Empirical evaluation of gated recurrent neural networks on sequence modeling［EB/OL］. ［2024-06-22］..
19	LI S， JIN X， XUAN Y， et al. Enhancing the locality and breaking the memory bottleneck of transformer on time series forecasting［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 5243-5253.
20	LIU S， YU H， LIAO C， et al. Pyraformer： low-complexity pyramidal attention for long-range time series modeling and forecasting ［EB/OL］. ［2024-06-22］..
21	CAI W， LIANG Y， LIU X， et al. MSGNet： learning multi-scale inter-series correlations for multivariate time series forecasting［C］// Proceedings of the 38th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2024： 11141-11149.
22	WANG H， PENG J， HUANG F， et al. MICN： multi-scale local and global context modeling for long-term series forecasting ［EB/OL］. ［2024-06-22］..
23	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［EB/OL］. ［2024-06-22］..
24	LIU Z， LIN Y， CAO Y， et al. Swin Transformer： hierarchical vision transformer using shifted windows［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 9992-10002.
25	CIRSTEA R G， GUO C， YANG B， et al. Triformer： triangular， variable-specific attentions for long sequence multivariate time series forecasting［C］// Proceedings of the 31st International Joint Conference on Artificial Intelligence. California： ijcai.org， 2022： 1994-2001.
26	CHEN P， ZHANG Y， CHENG Y， et al. Pathformer： multi-scale Transformers with adaptive pathways for time series forecasting［EB/OL］. ［2024-06-22］..
27	ZHONG S， SONG S， ZHUO W， et al. A multi-scale decomposition MLP-mixer for time series analysis［EB/OL］. ［2024-06-22］..
28	HOU H， YU F R. RWKV-TS： beyond traditional recurrent neural network for time series tasks［EB/OL］. ［2024-06-22］..
29	GONG Z， TANG Y， LIANG J. PatchMixer： a patch-mixing architecture for long-term time series forecasting ［EB/OL］. ［2024-06-22］..
30	ZHOU T， NIU P， WANG X， et al. One fits all： universal time series analysis by pretrained LM and specially designed adaptors［EB/OL］. ［2024-06-22］..

数据集	特征数	时间步	细粒度/min
ETTm1	7	69 680	15
ETTm2	7	69 680	15
ETTh1	7	17 420	60
ETTh2	7	17 420	60
Weather	21	52 696	10
ECL	321	26 304	60

数据集	特征数	时间步	细粒度/min
ETTm1	7	69 680	15
ETTm2	7	69 680	15
ETTh1	7	17 420	60
ETTh2	7	17 420	60
Weather	21	52 696	10
ECL	321	26 304	60

数据集	预测长度	ScaleNN		PatchTST		DLinear		MICN		FEDformer		Autoformer		Pyraformer
数据集	预测长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
Weather	96	0.148	0.188	0.149	0.198	0.176	0.237	0.161	0.229	0.238	0.314	0.249	0.329	0.896	0.556
	192	0.190	0.231	0.194	0.241	0.220	0.282	0.220	0.281	0.275	0.329	0.325	0.370	0.622	0.624
	336	0.242	0.283	0.245	0.282	0.265	0.319	0.278	0.331	0.339	0.377	0.351	0.391	0.739	0.753
	720	0.311	0.323	0.314	0.334	0.323	0.362	0.311	0.356	0.389	0.409	0.415	0.426	1.004	0.934
ETTh1	96	0.365	0.395	0.370	0.400	0.375	0.399	0.398	0.427	0.376	0.415	0.435	0.446	0.664	0.612
	192	0.409	0.425	0.413	0.429	0.405	0.416	0.430	0.453	0.423	0.446	0.456	0.457	0.790	0.681
	336	0.423	0.445	0.422	0.440	0.439	0.443	0.440	0.460	0.444	0.462	0.486	0.487	0.891	0.738
	720	0.440	0.459	0.447	0.468	0.472	0.490	0.491	0.509	0.469	0.492	0.515	0.517	0.963	0.782
ETTh2	96	0.273	0.336	0.274	0.336	0.289	0.353	0.299	0.364	0.332	0.374	0.332	0.368	0.645	0.597
	192	0.339	0.378	0.339	0.379	0.383	0.418	0.422	0.441	0.407	0.446	0.426	0.434	0.788	0.683
	336	0.357	0.398	0.329	0.384	0.448	0.465	0.447	0.474	0.400	0.447	0.477	0.479	0.907	0.747
	720	0.393	0.427	0.379	0.422	0.605	0.551	0.442	0.467	0.412	0.469	0.453	0.490	0.963	0.783
ETTm1	96	0.285	0.333	0.290	0.342	0.299	0.343	0.316	0.362	0.326	0.390	0.510	0.492	0.543	0.510
	192	0.326	0.359	0.332	0.369	0.335	0.365	0.363	0.390	0.365	0.415	0.514	0.495	0.557	0.537
	336	0.359	0.381	0.366	0.392	0.369	0.386	0.408	0.426	0.392	0.425	0.510	0.492	0.754	0.655
	720	0.421	0.415	0.416	0.420	0.425	0.421	0.459	0.464	0.446	0.458	0.527	0.493	0.908	0.724
ETTm2	96	0.160	0.245	0.165	0.255	0.167	0.260	0.179	0.275	0.180	0.271	0.205	0.293	0.435	0.507
	192	0.216	0.285	0.220	0.292	0.224	0.303	0.262	0.326	0.252	0.318	0.278	0.336	0.730	0.673
	336	0.266	0.319	0.274	0.329	0.281	0.342	0.305	0.353	0.324	0.364	0.343	0.379	1.201	0.845
	720	0.352	0.375	0.362	0.385	0.397	0.421	0.389	0.407	0.410	0.420	0.414	0.419	3.625	1.451
ECL	96	0.130	0.224	0.129	0.222	0.140	0.237	0.164	0.269	0.186	0.302	0.196	0.313	0.386	0.449
	192	0.147	0.244	0.147	0.240	0.153	0.249	0.177	0.285	0.197	0.311	0.211	0.324	0.386	0.443
	336	0.163	0.263	0.163	0.259	0.169	0.267	0.193	0.304	0.213	0.328	0.214	0.327	0.378	0.443
	720	0.198	0.293	0.197	0.290	0.203	0.301	0.212	0.321	0.233	0.344	0.236	0.342	0.376	0.445

数据集	预测长度	ScaleNN		PatchTST		DLinear		MICN		FEDformer		Autoformer		Pyraformer
数据集	预测长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
Weather	96	0.148	0.188	0.149	0.198	0.176	0.237	0.161	0.229	0.238	0.314	0.249	0.329	0.896	0.556
	192	0.190	0.231	0.194	0.241	0.220	0.282	0.220	0.281	0.275	0.329	0.325	0.370	0.622	0.624
	336	0.242	0.283	0.245	0.282	0.265	0.319	0.278	0.331	0.339	0.377	0.351	0.391	0.739	0.753
	720	0.311	0.323	0.314	0.334	0.323	0.362	0.311	0.356	0.389	0.409	0.415	0.426	1.004	0.934
ETTh1	96	0.365	0.395	0.370	0.400	0.375	0.399	0.398	0.427	0.376	0.415	0.435	0.446	0.664	0.612
	192	0.409	0.425	0.413	0.429	0.405	0.416	0.430	0.453	0.423	0.446	0.456	0.457	0.790	0.681
	336	0.423	0.445	0.422	0.440	0.439	0.443	0.440	0.460	0.444	0.462	0.486	0.487	0.891	0.738
	720	0.440	0.459	0.447	0.468	0.472	0.490	0.491	0.509	0.469	0.492	0.515	0.517	0.963	0.782
ETTh2	96	0.273	0.336	0.274	0.336	0.289	0.353	0.299	0.364	0.332	0.374	0.332	0.368	0.645	0.597
	192	0.339	0.378	0.339	0.379	0.383	0.418	0.422	0.441	0.407	0.446	0.426	0.434	0.788	0.683
	336	0.357	0.398	0.329	0.384	0.448	0.465	0.447	0.474	0.400	0.447	0.477	0.479	0.907	0.747
	720	0.393	0.427	0.379	0.422	0.605	0.551	0.442	0.467	0.412	0.469	0.453	0.490	0.963	0.783
ETTm1	96	0.285	0.333	0.290	0.342	0.299	0.343	0.316	0.362	0.326	0.390	0.510	0.492	0.543	0.510
	192	0.326	0.359	0.332	0.369	0.335	0.365	0.363	0.390	0.365	0.415	0.514	0.495	0.557	0.537
	336	0.359	0.381	0.366	0.392	0.369	0.386	0.408	0.426	0.392	0.425	0.510	0.492	0.754	0.655
	720	0.421	0.415	0.416	0.420	0.425	0.421	0.459	0.464	0.446	0.458	0.527	0.493	0.908	0.724
ETTm2	96	0.160	0.245	0.165	0.255	0.167	0.260	0.179	0.275	0.180	0.271	0.205	0.293	0.435	0.507
	192	0.216	0.285	0.220	0.292	0.224	0.303	0.262	0.326	0.252	0.318	0.278	0.336	0.730	0.673
	336	0.266	0.319	0.274	0.329	0.281	0.342	0.305	0.353	0.324	0.364	0.343	0.379	1.201	0.845
	720	0.352	0.375	0.362	0.385	0.397	0.421	0.389	0.407	0.410	0.420	0.414	0.419	3.625	1.451
ECL	96	0.130	0.224	0.129	0.222	0.140	0.237	0.164	0.269	0.186	0.302	0.196	0.313	0.386	0.449
	192	0.147	0.244	0.147	0.240	0.153	0.249	0.177	0.285	0.197	0.311	0.211	0.324	0.386	0.443
	336	0.163	0.263	0.163	0.259	0.169	0.267	0.193	0.304	0.213	0.328	0.214	0.327	0.378	0.443
	720	0.198	0.293	0.197	0.290	0.203	0.301	0.212	0.321	0.233	0.344	0.236	0.342	0.376	0.445

数据集	预测长度	ScaleNN		去掉局部感知模块的ScaleNN		去掉全局感知模块的ScaleNN
数据集	预测长度	MSE	MAE	MSE	MAE	MSE	MAE
Weather	96	0.148	0.188	0.175	0.211	0.181	0.212
	192	0.190	0.231	0.225	0.254	0.229	0.254
	336	0.242	0.283	0.276	0.294	0.281	0.293
	720	0.311	0.323	0.352	0.345	0.354	0.342
ETTh1	96	0.365	0.395	0.392	0.402	0.378	0.393
	192	0.409	0.425	0.447	0.430	0.437	0.424
	336	0.423	0.445	0.487	0.448	0.478	0.440
	720	0.440	0.459	0.480	0.468	0.474	0.459
ETTh2	96	0.273	0.336	0.292	0.340	0.289	0.334
	192	0.339	0.378	0.364	0.385	0.364	0.382
	336	0.357	0.398	0.385	0.407	0.376	0.399
	720	0.393	0.427	0.418	0.436	0.404	0.424
ETTm1	96	0.285	0.333	0.316	0.346	0.311	0.340
	192	0.326	0.359	0.366	0.372	0.369	0.370
	336	0.359	0.381	0.402	0.396	0.397	0.392
	720	0.421	0.415	0.467	0.435	0.465	0.430
ETTm2	96	0.160	0.245	0.177	0.253	0.173	0.250
	192	0.216	0.285	0.243	0.296	0.239	0.294
	336	0.266	0.319	0.301	0.335	0.299	0.333
	720	0.352	0.375	0.396	0.391	0.394	0.390
ECL	96	0.131	0.226	0.170	0.258	0.184	0.263
	192	0.148	0.243	0.190	0.272	0.189	0.271
	336	0.163	0.263	0.206	0.288	0.205	0.286
	720	0.198	0.293	0.246	0.321	0.245	0.319

基于神经网络的多尺度信息融合时间序列长期预测模型

Multi-scale information fusion time series long-term forecasting model based on neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 30

相关文章 15

编辑推荐

Metrics

[1]	陈凯, 叶海良, 曹飞龙. 基于局部-全局交互与结构Transformer的点云分类算法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1671-1676.
[2]	牛四杰, 刘昱良. 基于知识蒸馏双分支结构的视网膜病变辅助诊断方法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1410-1414.
[3]	王文鹏, 秦寅畅, 师文轩. 工业缺陷检测无监督深度学习方法综述[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1658-1670.
[4]	李雪莹, 杨琨, 涂国庆, 刘树波. 基于局部增强的时序数据对抗样本生成方法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1573-1581.
[5]	王丹, 张文豪, 彭丽娟. 基于深度学习的智能反射面辅助通信系统信道估计[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1613-1618.
[6]	潘理虎, 彭守信, 张睿, 薛之洋, 毛旭珍. 面向运动前景区域的视频异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1300-1309.
[7]	王一丁, 王泽浩, 李耀利, 蔡少青, 袁媛. 多尺度2D-Adaboost的中药材粉末显微图像识别算法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1325-1332.
[8]	杨光局, 罗天健, 王开军, 杨思琪. 多分支多视图的时间序列上下文对比表征学习方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1042-1052.
[9]	周阳, 李辉. 基于语义和细节特征双促进的遥感影像建筑物提取网络[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1310-1316.
[10]	薛振华, 李强, 黄超. 视觉基础模型驱动的像素级图像异常检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 823-831.
[11]	陈瑞龙, 胡涛, 卜佑军, 伊鹏, 胡先君, 乔伟. 面向加密恶意流量检测模型的堆叠集成对抗防御方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 864-871.
[12]	张倩婷, 胡丽莹, 陈黎飞. 时间序列的鲁棒形态表征方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 436-443.
[13]	洪梓榕, 包广清. 基于集成学习的雷达自动目标识别综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 371-382.
[14]	张翰林, 王俊陆, 宋宝燕. 融合衍生特征的时间序列事件分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 428-435.
[15]	张众维, 王俊, 刘树东, 王志恒. 多尺度特征融合与加权框融合的遥感图像目标检测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 633-639.