CNN增强型Informer模型在工业时间序列预测中的应用及性能优化

doi:10.11772/j.issn.1001-9081.2024030374

《计算机应用》唯一官方网站 ›› 0, Vol. ›› Issue (): 79-83.DOI: 10.11772/j.issn.1001-9081.2024030374

CNN增强型Informer模型在工业时间序列预测中的应用及性能优化

李嘉源¹, 王晓东¹(), 何启学²

^1.中国科学院成都计算机应用研究所，成都 610213
^2.中国科学院大学，北京 100049

收稿日期:2024-04-02 修回日期:2024-06-10 接受日期:2024-06-11 发布日期:2025-01-24 出版日期:2024-12-31
通讯作者: 王晓东
作者简介:李嘉源（1996—），男，安徽阜阳人，硕士研究生，主要研究方向：时间序列预测、深度学习
王晓东（1973—），男，四川乐山人，高级工程师，硕士，主要研究方向：工业建模、物联网、机器学习
何启学（1978—），男，四川自贡人，高级工程师，硕士，主要研究方向：工业大数据、智能制造、机器学习。
基金资助:
四川省重点研发计划项目(2023YFG0113);四川省科技成果转化示范项目(2023ZHCG0005)

Application and performance optimization of CNN enhanced Informer model in industrial time series prediction

Jiayuan LI¹, Xiaodong WANG¹(), Qixue HE²

^1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan 610213，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China

Received:2024-04-02 Revised:2024-06-10 Accepted:2024-06-11 Online:2025-01-24 Published:2024-12-31
Contact: Xiaodong WANG

摘要/Abstract

摘要：

在实际的工业生产中，Informer模型自身的概率稀疏机制会导致在特征提取时大量时序特性的丢失。为了克服Informer模型的这种缺陷，同时兼顾工业生产中对预测速度和效率的要求，提出一种使用卷积神经网络（CNN）增强的Informer模型。该模型引入短时傅里叶变换（STFT）处理序列获取数据在频域的特征，以进一步减少概率稀疏注意力机制带来的特征丢失，并提高预测准确度。在ETT（Electricity Transformer Temperature）、ECL（Electricity Consumption Load）公开数据集和一个私有数据集上，所提模型与工业领域应用最广泛使用的长短期记忆网络（LSTM）、自回归积分滑动平均（ARIMA）模型等4种模型进行对比实验的结果表明，所提模型的均方误差（MSE）和平均绝对误差（MAE）两项指标均有下降，性能有所提升。

关键词: 时序预测, 工业数据, 卷积神经网络, Informer模型, 短时傅里叶变换

Abstract:

In actual industrial production， Informer model will lose a large number of temporal characteristics during feature extraction due to its probabilistic sparsity mechanism. To address this shortcoming of Informer model and meet the demands for prediction speed and efficiency in industrial production， a Convolutional Neural Network （CNN）-enhanced Informer model was proposed. Short-Time Fourier Transform （STFT） was introduced to process sequence to obtain frequency-domain features of the data， thereby further reducing feature loss caused by probabilistic sparse attention mechanism and improving prediction accuracy. On public datasets， ETT （Electricity Transformer Temperature）， ECL （Electricity Consumption Load）， as well as one private dataset， comparative experiments were conducted between the proposed model and four models widely used in the industrial field， including Long Short-Term Memory （LSTM） and AutoRegressive Integrated Moving Average （ARIMA） model. Experimental results show that both Mean Squared Error （MSE） and Mean Absolute Error （MAE） of the proposed model are decreased.

Key words: time series prediction, industrial data, Convolutional Neural Network (CNN), Informer model, Short-Term Fourier Transform (STFT)

中图分类号:

TP391.1

李嘉源, 王晓东, 何启学. CNN增强型Informer模型在工业时间序列预测中的应用及性能优化[J]. 计算机应用, 0, (): 79-83.

Jiayuan LI, Xiaodong WANG, Qixue HE. Application and performance optimization of CNN enhanced Informer model in industrial time series prediction[J]. Journal of Computer Applications, 0, (): 79-83.

图/表 4

参考文献 19

1	PLESCIA M， BROWNSON R C. 17 strategic skills in focus： data-driven decision-making policy engagement ［M］// Building strategic skills for better health： a primer for public health professionals. Oxford： University of Oxford Press， 2023： 230.
2	TORRES J F， HADJOUT D， SEBAA A， et al. Deep learning for time series forecasting： a survey ［J］. Big Data， 2021， 9（1）： 3-21.
3	SHEN X， ZHANG Y， TANG Y， et al. A study on the impact of digital tobacco logistics on tobacco supply chain performance： taking the tobacco industry in Guangxi as an example ［J］. Industrial Management and Data Systems， 2022， 122（6）： 1416-1452.
4	苏靖程，王志强，屈江江，等. 基于BP神经网络和支持向量回归的燃煤电厂空气预热器压差预测［J］. 发电技术， 2023， 44（4）：550-556.
5	赵丽雅，周文学.基于K近邻算法和混合模型的短期交通流预测［J］. 应用数学进展， 2023， 12（10）： 4330-4337.
6	GRAVES A. Long short-term memory［M］// Supervised sequence labelling with recurrent neural networks， SCI 385. Berlin： Springer， 2012： 37-45.
7	ALIJOYO F A， GONGADA T N， KAUR C， et al. Advanced hybrid CNN-Bi-LSTM model augmented with GA and FFO for enhanced cyclone intensity forecasting ［J］. Alexandria Engineering Journal， 2024， 92： 346-357.
8	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
9	ZHOU H， ZHANG S， PENG J， et al. Informer： beyond efficient Transformer for long sequence time-series forecasting ［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021： 11106-11115.
10	CHEN M， PENG H， FU J， et al. AutoFormer： searching Transformers for visual recognition ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 12250-12260.
11	严迅，铁承城，鄢薇，等. 基于ARIMA模型和CNN-LSTM组合模型的全球气温预测分析［J］. 科技与创新， 2024（2）：19-22.
12	刘杭. 基于多模型融合的时序数据预测方法研究［D］. 苏州：苏州科技大学， 2022：12-13.
13	WANG H， LIU Z， PENG D， et al. Understanding and learning discriminant features based on multiattention 1DCNN for wheelset bearing fault diagnosis ［J］. IEEE Transactions on Industrial Informatics， 2020， 16（9）： 5735-5745.
14	HE J， LI L， XU J， et al. ReLU deep neural networks and linear finite elements ［J］. Journal of Computational Mathematics， 2020， 38（3）： 502-527.
15	TAO H， WANG P， CHEN Y， et al. An unsupervised fault diagnosis method for rolling bearing using STFT and generative neural networks［J］. Journal of the Franklin Institute， 2020， 357（11）： 7286-7307.
16	SONG L， XIA M， WENG L， et al. Axial cross attention meets CNN： bibranch fusion network for change detection ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2023， 16： 21-32.
17	GONG M， ZHAO Y， SUN J， et al. Load forecasting of district heating system based on Informer ［J］. Energy， 2022， 253： No.124179.
18	SHUMWAY R H， STOFFER D S. ARIMA models ［M］// Time series analysis and its applications： with R examples. Cham： Springer， 2017： 75-163.
19	刘涅煊，杨学良，陶晓峰，等. 基于改进Prophet算法的短期日负荷预测方法研究［J］. 电力需求侧管理， 2022， 24（5）：58-63.

数据集	训练集样本数	测试集样本数	特征维度
ETTh1	17 420	4 380	7
ETTh2	17 420	4 380	7
ETTm1	69 680	17 420	7
ECL	17 520	8 760	4
PB08	60 488	16 430	7

数据集	训练集样本数	测试集样本数	特征维度
ETTh1	17 420	4 380	7
ETTh2	17 420	4 380	7
ETTm1	69 680	17 420	7
ECL	17 520	8 760	4
PB08	60 488	16 430	7

数据集	窗口长度	CNN-Informer		Informer		LSTM		ARIMA		Prophet
数据集	窗口长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
ETTh1	24	0.092	0.244	0.098	0.247	0.114	0.272	0.108	0.284	0.115	0.275
	48	0.161	0.322	0.158	0.319	0.193	0.358	0.175	0.424	0.168	0.330
	168	0.181	0.354	0.183	0.346	0.236	0.392	0.396	0.504	1.224	0.763
	336	0.215	0.369	0.222	0.387	0.590	0.698	0.468	0.593	1.549	1.820
	720	0.257	0.421	0.269	0.435	0.683	0.768	0.659	0.766	2.735	3.253
ETTh2	24	0.092	0.236	0.093	0.240	0.155	0.307	3.554	0.445	0.199	0.381
	48	0.154	0.314	0.155	0.314	0.190	0.348	3.190	0.474	0.304	0.462
	168	0.229	0.376	0.232	0.389	0.385	0.514	2.800	0.595	2.145	1.068
	336	0.258	0.393	0.263	0.417	0.558	0.606	2.753	0.738	2.096	2.543
	720	0.267	0.429	0.277	0.431	0.640	0.681	2.878	1.044	3.355	4.664
ETTm1	24	0.038	0.145	0.030	0.137	0.121	0.233	0.090	0.206	0.120	0.290
	48	0.066	0.194	0.069	0.203	0.305	0.411	0.179	0.306	0.133	0.305
	168	0.187	0.375	0.194	0.372	0.287	0.420	0.272	0.399	0.194	0.396
	336	0.434	0.548	0.401	0.554	0.524	0.584	0.462	0.558	0.452	0.574
	720	0.521	0.654	0.512	0.644	1.064	0.873	0.639	0.697	2.747	1.174
ECL	24	0.241	0.368	0.239	0.359	0.493	0.539	0.879	0.764	0.524	0.595
	48	0.315	0.436	0.447	0.503	0.723	0.655	1.032	0.833	2.725	1.273
	168	0.414	0.519	0.489	0.528	1.212	0.898	1.136	0.876	2.246	3.077
	336	0.536	0.595	0.540	0.571	1.511	0.966	1.251	0.933	4.243	1.415
	720	0.579	0.683	0.582	0.608	1.545	1.006	1.370	0.982	6.901	4.264
PB08	24	0.117	0.251	0.119	0.256	0.131	0.254	0.219	0.355	0.302	0.433
	48	0.178	0.318	0.185	0.316	0.190	0.334	0.273	0.409	0.445	0.536
	168	0.266	0.398	0.269	0.404	0.341	0.448	0.503	0.599	2.441	1.142
	336	0.297	0.416	0.310	0.422	0.456	0.554	0.728	0.730	1.987	2.468
	720	0.359	0.466	0.361	0.471	0.866	0.809	1.062	0.943	3.859	1.144

数据集	窗口长度	CNN-Informer		Informer		LSTM		ARIMA		Prophet
数据集	窗口长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
ETTh1	24	0.092	0.244	0.098	0.247	0.114	0.272	0.108	0.284	0.115	0.275
	48	0.161	0.322	0.158	0.319	0.193	0.358	0.175	0.424	0.168	0.330
	168	0.181	0.354	0.183	0.346	0.236	0.392	0.396	0.504	1.224	0.763
	336	0.215	0.369	0.222	0.387	0.590	0.698	0.468	0.593	1.549	1.820
	720	0.257	0.421	0.269	0.435	0.683	0.768	0.659	0.766	2.735	3.253
ETTh2	24	0.092	0.236	0.093	0.240	0.155	0.307	3.554	0.445	0.199	0.381
	48	0.154	0.314	0.155	0.314	0.190	0.348	3.190	0.474	0.304	0.462
	168	0.229	0.376	0.232	0.389	0.385	0.514	2.800	0.595	2.145	1.068
	336	0.258	0.393	0.263	0.417	0.558	0.606	2.753	0.738	2.096	2.543
	720	0.267	0.429	0.277	0.431	0.640	0.681	2.878	1.044	3.355	4.664
ETTm1	24	0.038	0.145	0.030	0.137	0.121	0.233	0.090	0.206	0.120	0.290
	48	0.066	0.194	0.069	0.203	0.305	0.411	0.179	0.306	0.133	0.305
	168	0.187	0.375	0.194	0.372	0.287	0.420	0.272	0.399	0.194	0.396
	336	0.434	0.548	0.401	0.554	0.524	0.584	0.462	0.558	0.452	0.574
	720	0.521	0.654	0.512	0.644	1.064	0.873	0.639	0.697	2.747	1.174
ECL	24	0.241	0.368	0.239	0.359	0.493	0.539	0.879	0.764	0.524	0.595
	48	0.315	0.436	0.447	0.503	0.723	0.655	1.032	0.833	2.725	1.273
	168	0.414	0.519	0.489	0.528	1.212	0.898	1.136	0.876	2.246	3.077
	336	0.536	0.595	0.540	0.571	1.511	0.966	1.251	0.933	4.243	1.415
	720	0.579	0.683	0.582	0.608	1.545	1.006	1.370	0.982	6.901	4.264
PB08	24	0.117	0.251	0.119	0.256	0.131	0.254	0.219	0.355	0.302	0.433
	48	0.178	0.318	0.185	0.316	0.190	0.334	0.273	0.409	0.445	0.536
	168	0.266	0.398	0.269	0.404	0.341	0.448	0.503	0.599	2.441	1.142
	336	0.297	0.416	0.310	0.422	0.456	0.554	0.728	0.730	1.987	2.468
	720	0.359	0.466	0.361	0.471	0.866	0.809	1.062	0.943	3.859	1.144

模型	MSE	MAE
模型A	0.222	0.387
模型B	0.218	0.367
模型C	0.220	0.361

CNN增强型Informer模型在工业时间序列预测中的应用及性能优化

Application and performance optimization of CNN enhanced Informer model in industrial time series prediction

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 19

相关文章 15

编辑推荐

Metrics

[1]	董思语, 贾鑫, 张密, 陈新文, 孙昕霙, 程方骁. 基于CNN-Transformer编码器和多维脑电特征融合的抑郁状态识别模型[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 3025-3034.
[2]	何戡, 马洪峰, 宗学军, 史洪岩, 连莲, 宁博伟. 融合双通道语义特征的工业控制协议模糊测试方法DCSFFuzzer[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2877-2888.
[3]	张一心, 蒋林, 李远成, 纪辰. 面向可重构结构的CNN剪枝与量化压缩方法[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2732-2740.
[4]	李栋, 赵苡积, 丁海燕, 武浩. 基于软白化的无负样本自监督学习时序预测框架[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2457-2466.
[5]	陈荟慧, 孙洪韬, 关柏良, 衡中青. 基于NetVLAD特征编码的古籍汉字图像检索算法[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 750-757.
[6]	李亚男, 郭梦阳, 邓国军, 陈允峰, 任建吉, 原永亮. 基于多模态融合特征的并分支发动机寿命预测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 305-313.
[7]	张宏俊, 潘高军, 叶昊, 陆玉彬, 缪宜恒. 结合深度学习和张量分解的多源异构数据分析方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2838-2847.
[8]	石超, 周昱昕, 扶倩, 唐万宇, 何凌, 李元媛. 基于骨架和3D热图的注意缺陷多动障碍患者动作识别算法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3036-3044.
[9]	彭鹏, 蔡子婷, 刘雯玲, 陈才华, 曾维, 黄宝来. 基于CNN和双向GRU混合孪生网络的语音情感识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2515-2521.
[10]	林进浩, 罗川, 李天瑞, 陈红梅. 基于跨尺度注意力网络的胸部疾病分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2712-2719.
[11]	张英俊, 闫薇薇, 谢斌红, 张睿, 陆望东. 梯度区分与特征范数驱动的开放世界目标检测[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2203-2210.
[12]	陶永鹏, 柏诗淇, 周正文. 基于卷积和Transformer神经网络架构搜索的脑胶质瘤多组织分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2378-2386.
[13]	吴宗航, 张东, 李冠宇. 基于联合自监督学习的多模态融合推荐算法[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1858-1868.
[14]	龙雨菲, 牟宇辰, 刘晔. 基于张量化图卷积网络和对比学习的多源数据表示学习模型[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1372-1378.
[15]	王丹, 张文豪, 彭丽娟. 基于深度学习的智能反射面辅助通信系统信道估计[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1613-1618.