基于多层感知器的高频增强型时间序列预测模型

doi:10.11772/j.issn.1001-9081.2024121818

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (12): 3855-3863.DOI: 10.11772/j.issn.1001-9081.2024121818

基于多层感知器的高频增强型时间序列预测模型

朱昶胜¹, 杨琛¹, 冯文芳², 袁培文¹

^1.兰州理工大学计算机与通信学院，兰州 730000
^2.兰州理工大学经济管理学院，兰州 730000

收稿日期:2024-12-27 修回日期:2025-03-14 接受日期:2025-03-18 发布日期:2025-03-27 出版日期:2025-12-10
通讯作者: 杨琛
作者简介:朱昶胜（1972—），男，甘肃秦安人，教授，博士，主要研究方向：高性能计算与大数据、制造业信息化系统与工程
杨琛（1999—），女，陕西咸阳人，硕士研究生，主要研究方向：时间序列预测、自然语言处理
冯文芳（1973—），女，甘肃秦安人，副教授，硕士，主要研究方向：金融理论与资产定价、金融风险控制
袁培文（1993—），男，安徽合肥人，硕士，主要研究方向：时间序列预测。
基金资助:
国家自然科学基金资助项目(72161026)

High-frequency enhanced time series prediction model based on multi-layer perceptron

Changsheng ZHU¹, Chen YANG¹, Wenfang FENG², Peiwen YUAN¹

^1.School of Computer Science and Communication，Lanzhou University of Technology，Lanzhou Gansu 730000，China
^2.School of Economics and Management，Lanzhou University of Technology，Lanzhou Gansu 730000，China

Received:2024-12-27 Revised:2025-03-14 Accepted:2025-03-18 Online:2025-03-27 Published:2025-12-10
Contact: Chen YANG
About author:ZHU Changsheng， born in 1972， Ph. D.， professor. His research interests include high-performance computing and big data， information systems and engineering in manufacturing.
YANG Chen， born in 1999， M. S. candidate. Her research interests include time series forecasting， natural language processing.
FENG Wenfang， born in 1973， M. S.， associate professor. Her research interests include financial theory and asset pricing， financial risk control.
YUAN Peiwen， born in 1993， M. S. His research interests include time series forecasting.
Supported by:
National Natural Science Foundation of China(72161026)

摘要/Abstract

摘要：

简单线性模型的时间序列预测质量通常超过Transformer等深度模型；而在具有大量通道的数据集上，深度模型尤其是多层感知器（MLP）的性能反而可超过简单线性模型。针对简单线性模型和MLP在时间序列预测中的误差功率谱差异，提出一种基于MLP的高频增强型时间序列预测模型HiFNet（High-Frequency Network）。首先，利用MLP在低频段的拟合能力；其次，通过自适应序列分解（ASD）模块及分组线性层解决MLP高频段易过拟合以及通道独立策略不能有效应对通道冗余的问题，从而增强MLP在高频段的鲁棒性；最后，对HiFNet在气象、电力和交通等领域的标准数据集上进行实验。结果表明：HiFNet的均方误差（MSE）在最佳情况下相较于NLinear、RLinear、SegRNN（Segment Recurrent Neural Network）和PatchTST（Patch Time Series Transformer）分别降低了23.6%、10.0%、35.1%和6.5%，而分组线性层通过学习通道相关性的低秩表达减轻了通道冗余的影响。

关键词: 时间序列预测, 误差功率谱, 线性模型, 多层感知器, 序列分解

Abstract:

The prediction quality of simple linear models for time series forecasting often surpasses that of deep models such as Transformers. However， on datasets with a large number of channels， deep models， particularly Multi-Layer Perceptron （MLP）， can outperform simple linear models. Aiming at the differences in error power spectrum between simple linear models and MLPs in time series forecasting， an High-frequency enhanced time series prediction model based on multi-layer perceptron — HiFNet （High-Frequency Network） was proposed. Firstly， the fitting capability of MLPs within low-frequency bands was utilized. Then， the Adaptive Series Decomposition （ASD） module and the grouped linear layer were adopted to address the overfitting issue of MLPs in high-frequency bands and the issue of channel independence strategy failing to handle the channel redundancy effectively， thereby enhancing the robustness of MLPs in high-frequency band. Finally， experiments were conducted to HiFNet on standard datasets in the fields of meteorology， power， and transportation. The results demonstrate that the Mean Squared Error （MSE） of HiFNet is reduced by up to 23.6%， 10.0%， 35.1%， and 6.5%， respectively， compared to those of NLinear， RLinear， SegRNN （Segment Recurrent Neural Network）， and PatchTST （Patch Time Series Transformer）. At the same time， the grouped linear layer alleviates the impact of the channel redundancy by learning low-rank representations related to channels.

Key words: time series forecasting, error power spectrum, linear model, Multi-Layer Perceptron (MLP), series decomposition

中图分类号:

TP391.4

朱昶胜, 杨琛, 冯文芳, 袁培文. 基于多层感知器的高频增强型时间序列预测模型[J]. 计算机应用, 2025, 45(12): 3855-3863.

Changsheng ZHU, Chen YANG, Wenfang FENG, Peiwen YUAN. High-frequency enhanced time series prediction model based on multi-layer perceptron[J]. Journal of Computer Applications, 2025, 45(12): 3855-3863.

图/表 25

图1 通道冗余

Fig. 1 Channel redundancy

图2 高频合成数据集的可视化

Fig.2 Visualization of high-frequency synthetic dataset

图3 低频合成数据集的可视化

Fig.3 Visualization of low-frequency synthetic dataset

图4 高频合成数据集上的loss曲线

Fig.4 Loss curves on high-frequency synthetic dataset

图5 低频合成数据集上的loss曲线

Fig.5 Loss curves on low-frequency synthetic dataset

图6 低频合成数据集上的部分预测结果

Fig.6 Partial forecasting results on low-frequency synthetic dataset

图7 线性模型在不同数据集上归一化后的MEPS

Fig.7 Normalized MEPS of linear models on different datasets

图8 MLP在不同数据集上归一化后的MEPS

Fig.8 Normalized MEPS of MLP on different datasets

图9 MLP和线性模型的MEPS之差

Fig.9 MEPS difference between MLP and linear model

图10 不同层数的MLP在不同数据集上归一化后的MEPS差

Fig.10 Normalized MEPS difference of MLP with different layers on different datasets

图11 MLP在electricity数据集上的功率差

Fig. 11 Power difference of MLPs on electricity dataset

图12 MLP在weather数据集上的功率差

Fig. 12 Power difference of MLPs on weather dataset

图13 HiFNet模型的架构

Fig. 13 Model architecture of HiFNet

图14 ASD模块的卷积核

Fig. 14 Convolutional kernels of ASD module

图15 不同序列分解提取的特征幅值

Fig. 15 Feature amplitudes extracted from different sequence decompositions

表1 实验数据集

Tab. 1 Experimental datasets

数据集	通道数	时间步	细粒度/min	数据划分
Weather	21	52 696	10	7∶2∶1
ECL	321	26 304	60	7∶2∶1
Traffic	862	17 545	60	7∶2∶1
Solar Energy	137	51 938	10	7∶2∶1

表2 不同模型在4个数据集上不同预测长度的指标对比

Tab. 2 Comparison of indicators with different prediction lengths for different models on four datasets

数据集	预测长度	HiFNet		NLinear		RLinear		SegRNN		PatchTST
数据集	预测长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
Weather	96	0.144	0.193	0.145	0.194	0.145	0.193	0.147	0.208	0.150	0.199
	192	0.185	0.232	0.189	0.237	0.189	0.235	0.193	0.256	0.198	0.243
	336	0.237	0.272	0.241	0.279	0.240	0.274	0.244	0.297	0.253	0.282
	720	0.313	0.325	0.317	0.334	0.316	0.328	0.327	0.356	0.327	0.342
ECL	96	0.128	0.223	0.135	0.238	0.135	0.231	0.133	0.231	0.131	0.227
	192	0.146	0.238	0.150	0.243	0.151	0.245	0.151	0.250	0.150	0.243
	336	0.163	0.255	0.167	0.260	0.167	0.261	0.170	0.270	0.185	0.288
	720	0.198	0.287	0.206	0.295	0.206	0.293	0.207	0.305	0.218	0.311
Traffic	96	0.377	0.261	0.424	0.295	0.419	0.291	0.555	0.274	0.384	0.267
	192	0.393	0.269	0.457	0.299	0.430	0.295	0.576	0.275	0.403	0.274
	336	0.409	0.277	0.482	0.306	0.444	0.302	0.671	0.280	0.415	0.283
	720	0.440	0.295	0.576	0.325	0.472	0.318	0.679	0.289	0.452	0.299
Solar Energy	96	0.195	0.239	0.230	0.266	0.231	0.264	0.197	0.250	0.198	0.248
	192	0.185	0.252	0.259	0.281	0.259	0.278	0.187	0.257	0.199	0.254
	336	0.196	0.260	0.279	0.288	0.280	0.290	0.197	0.262	0.218	0.274
	720	0.224	0.266	0.281	0.289	0.280	0.289	0.225	0.266	0.238	0.285

表3 替换ASD模块的消融实验结果

Tab. 3 Ablation study results of replacing ASD module

数据集	预测长度	HiFNet		HiFNet-AvgPool
数据集	预测长度	MSE	MAE	MSE	MAE
Weather	96	0.144	0.193	0.144	0.192
	192	0.185	0.232	0.187	0.235
	336	0.237	0.272	0.239	0.275
	720	0.313	0.325	0.315	0.326
ECL	96	0.128	0.223	0.130	0.225
	192	0.146	0.238	0.148	0.241
	336	0.163	0.255	0.167	0.260
	720	0.198	0.287	0.202	0.289
Traffic	96	0.377	0.261	0.383	0.265
	192	0.393	0.269	0.402	0.274
	336	0.409	0.277	0.417	0.280
	720	0.440	0.295	0.442	0.301

表4 移除ASD模块和分组线性层的消融实验结果

Tab. 4 Ablation study results of removing ASD module and grouped linear layer

数据集	预测长度	HiFNet		MLP
数据集	预测长度	MSE	MAE	MSE	MAE
Weather	96	0.144	0.193	0.146	0.207
	192	0.185	0.232	0.193	0.256
	336	0.237	0.272	0.245	0.296
	720	0.313	0.325	0.325	0.355
ECL	96	0.128	0.223	0.131	0.225
	192	0.146	0.238	0.148	0.240
	336	0.163	0.255	0.165	0.258
	720	0.198	0.287	0.201	0.289
Traffic	96	0.377	0.261	0.380	0.262
	192	0.393	0.269	0.400	0.271
	336	0.409	0.277	0.413	0.278
	720	0.440	0.295	0.443	0.298

图16 Weather数据集上通道间的余弦相似度

Fig. 16 Cosine similarity among channels on Weather dataset

图17 Weather数据集上训练的分组向量间的余弦相似度

Fig. 17 Cosine similarity among grouped vectors trained on Weather dataset

图18 降雨时长和最大光合有效辐射通道的能量谱

Fig. 18 Energy spectrum of rainfall duration and maximum photosynthetically active radiation channel

图19 MLP和HiFNet在降雨时长上的MEPS差值

Fig. 19 MEPS difference between MLP and HiFNet for rainfall duration

图20 MLP和HiFNet在光合有效辐射上的MEPS差值

Fig. 20 MEPS difference between MLP and HiFNet for photosynthetically active radiation

表5 不同模型训练时间与浮点运算次数的对比

Tab. 5 Comparison of training time and FLOPs of different models

模型	训练时间/s	浮点运算次数/MFLOPs
HiFNet	100	4 052
MLP	90	225
NLinear	178	140
RLinear	240	140
SegRNN	100	7 116
PatchTST	847	198 873

参考文献 25

[1]	GUO H， ZHANG J， ZHANG J， et al. Prediction of highway blocking loss based on ensemble learning fusion model［J］. Electronics， 2022， 11（17）： No.2792.
[2]	YU W， WANG S， ZHANG C， et al. Integrating spatio-temporal and generative adversarial networks for enhanced nowcasting performance［J］. Remote Sensing， 2023， 15（15）： No.3720.
[3]	孙卓远，吕学文，王继军. 基于门控多层感知机和Informer的多通道电力负荷预测［J］. 人工智能与机器人研究， 2024， 13（2）： 375-387.
	SUN Z Y， LYU X W， WANG J J. Multi-channel power load forecasting based on gated multilayer perceptron and Informer［J］. Artificial Intelligence and Robotics Research， 2024， 13（2）： 375-387.
[4]	ZHOU H， ZHANG S， PENG J， et al. Informer： beyond efficient Transformer for long sequence time-series forecasting［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021： 11106-11115.
[5]	ZENG A， CHEN M， ZHANG L， et al. Are Transformers effective for time series forecasting？［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2023：11121-11128.
[6]	LI W， MENG X， CHEN C， et al. Mlinear： rethink the linear model for time-series forecasting ［EB/OL］. ［2024-11-01］. .
[7]	LI Z， QI S， LI Y， et al. Revisiting long-term time series forecasting： an investigation on linear mapping ［EB/OL］. ［2024-11-01］. .
[8]	LAKSHMI K， REDDY D K， SHARMA M R. Integration of hybrid ARIMA artificial neural networks for accurate platinum price prediction［J］. Communications on Applied Nonlinear Analysis， 2024， 31（6s）： 61-73.
[9]	HWANG Y， TONG A， CHOI J. Automatic construction of nonparametric relational regression models for multiple time series［C］// Proceedings of the 33rd International Conference on Machine Learning. New York： JMLR.org， 2016： 3030-3039.
[10]	FU Z， WU Y， LIU X. A tensor-based deep LSTM forecasting model capturing the intrinsic connection in multivariate time series［J］. Applied Intelligence， 2023， 53（12）： 15873-15888.
[11]	LIN S， LIN W， WU W， et al. SegRNN： segment recurrent neural network for long-term time series forecasting ［EB/OL］. ［2024-11-01］. .
[12]	DARLOW L， DENG Q， HASSAN A， et al. DAM： towards a foundation model for time series forecasting ［EB/OL］. ［2024-11-01］. .
[13]	NIE Y， NGUYEN N H， SINTHONG P， et al. A time series is worth 64 words： long-term forecasting with Transformers ［EB/OL］. ［2024-11-01］. .
[14]	LI Z， ZHANG X， DONG Z. TSF-Transformer： a time series forecasting model for exhaust gas emission using Transformer［J］. Applied Intelligence， 2023， 53（13）： 17211-17225.
[15]	ZHOU T， MA Z， WEN Q， et al. FEDformer： frequency enhanced decomposed transformer for long-term series forecasting［C］// Proceedings of the 39th International Conference on Machine Learning. New York： JMLR.org， 2022： 27268-27286.
[16]	ZHANG C， ZHOU T， WEN Q， et al. TFAD： a decomposition time series anomaly detection architecture with time-frequency analysis［C］// Proceedings of the 31st ACM International Conference on Information and Knowledge Management. New York.： ACM， 2022： 2497-2507.
[17]	XU Z Q J， ZHANG Y， XIAO Y. Training behavior of deep neural network in frequency domain［C］// Proceedings of the 2019 International Conference on Neural Information Processing， LNCS 11953. Cham： Springer， 2019： 264-274.
[18]	RAHANMAN N， BARATIN A， ARPIT D， et al. On the spectral bias of neural networks［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019： 5301-5310.
[19]	XU Z Q J， ZHANG Y， LUO T， et al. Frequency principle： Fourier analysis sheds light on deep neural networks［J］. Computer Physics Communications， 2019， 28（5）： 1746-1767.
[20]	XU Z， ZENG A， XU Q. FITS： modeling time series with 10k parameters［EB/OL］. ［2024-11-01］..
[21]	EKAMBARAM V， JATI A， NGUYEN N， et al. TSMixer： lightweight MLP-Mixer model for multivariate time series forecasting［C］// Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2023： 459-469.
[22]	RAGHU M， POOLE B， KLEINBERG J， et al. On the expressive power of deep neural networks［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 2847-2854.
[23]	POOLE B， LAHIRI S， RAGHU M， et al. Exponential expressivity in deep neural networks through transient chaos［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 3368-3376.
[24]	KIM T， KIM J， TAE Y， et al. Reversible instance normalization for accurate time-series forecasting against distribution shift［EB/OL］. ［2024-11-01］. .
[25]	RAMACHANDRAN P， ZOPH B， LE Q V. Searching for activation functions［EB/OL］. ［2024-11-01］. .

基于多层感知器的高频增强型时间序列预测模型

High-frequency enhanced time series prediction model based on multi-layer perceptron

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 25

参考文献 25

相关文章 15

编辑推荐

Metrics

[1]	古松健, 吴福祥, 高向阳, 杨梦杰, 詹忆冰, 程俊. 基于几何模型预测控制的移动机器人轨迹跟踪算法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3026-3035.
[2]	王翔, 陈志祥, 毛国君. 融合局部和全局相关性的多变量时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2806-2816.
[3]	王慧斌, 胡展傲, 胡节, 徐袁伟, 文博. 基于分段注意力机制的时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2262-2268.
[4]	郭茂祖, 崔正, 赵玲玲, 张庆宇. 基于频域注意力的结构地震响应预测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(11): 3730-3738.
[5]	任烈弘, 黄铝文, 田旭, 段飞. 基于DFT的频率敏感双分支Transformer多变量长时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2739-2746.
[6]	范黎林, 曹富康, 王琬婷, 杨凯, 宋钊瑜. 基于需求模式自适应匹配的间歇性需求预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2747-2755.
[7]	徐泽鑫, 杨磊, 李康顺. 较短的长序列时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1824-1831.
[8]	曾渝, 张洋, 曾尚, 付茂栗, 何启学, 曾林隆. 基于多尺度门控膨胀卷积网络的时间序列预测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3427-3434.
[9]	刘文博, 于连飞, 谢冬梅, 蔡闯, 曲志坚, 任崇广. 基于多尺度特征融合的时间序列长期预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3435-3441.
[10]	范艺扬, 张洋, 曾尚, 曾渝, 付茂栗. 基于分解和频域特征提取的多变量长时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3442-3448.
[11]	夏进, 王正群, 朱世明. 基于时间序列分解的交通流量预测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1129-1135.
[12]	郎祎平, 毛文涛, 罗铁军, 范黎林, 任颖莹, 刘侠. 间歇性时间序列的可预测性评估及联合预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2722-2731.
[13]	吴明晖, 张广洁, 金苍宏. 基于多模态信息融合的时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2326-2332.
[14]	王艺霏, 于雷, 滕飞, 宋佳玉, 袁玥. 基于长-短时序特征融合的资源负载预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1508-1515.
[15]	胡鹤轩, 隋华超, 胡强, 张晔, 胡震云, 马能武. 基于图注意力网络与双阶注意力机制的径流预报模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1607-1615.