CNN增强型Informer模型在工业时间序列预测中的应用及性能优化

doi:10.11772/j.issn.1001-9081.2024030374

《计算机应用》唯一官方网站 ›› 0, Vol. ›› Issue (): 79-83.DOI: 10.11772/j.issn.1001-9081.2024030374

CNN增强型Informer模型在工业时间序列预测中的应用及性能优化

李嘉源¹, 王晓东¹(), 何启学²

^1.中国科学院成都计算机应用研究所，成都 610213
^2.中国科学院大学，北京 100049

收稿日期:2024-04-02 修回日期:2024-06-10 接受日期:2024-06-11 发布日期:2025-01-24 出版日期:2024-12-31
通讯作者: 王晓东
作者简介:李嘉源（1996—），男，安徽阜阳人，硕士研究生，主要研究方向：时间序列预测、深度学习
王晓东（1973—），男，四川乐山人，高级工程师，硕士，主要研究方向：工业建模、物联网、机器学习
何启学（1978—），男，四川自贡人，高级工程师，硕士，主要研究方向：工业大数据、智能制造、机器学习。
基金资助:
四川省重点研发计划项目(2023YFG0113);四川省科技成果转化示范项目(2023ZHCG0005)

Application and performance optimization of CNN enhanced Informer model in industrial time series prediction

Jiayuan LI¹, Xiaodong WANG¹(), Qixue HE²

^1.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan 610213，China
^2.University of Chinese Academy of Sciences，Beijing 100049，China

Received:2024-04-02 Revised:2024-06-10 Accepted:2024-06-11 Online:2025-01-24 Published:2024-12-31
Contact: Xiaodong WANG

摘要/Abstract

摘要：

在实际的工业生产中，Informer模型自身的概率稀疏机制会导致在特征提取时大量时序特性的丢失。为了克服Informer模型的这种缺陷，同时兼顾工业生产中对预测速度和效率的要求，提出一种使用卷积神经网络（CNN）增强的Informer模型。该模型引入短时傅里叶变换（STFT）处理序列获取数据在频域的特征，以进一步减少概率稀疏注意力机制带来的特征丢失，并提高预测准确度。在ETT（Electricity Transformer Temperature）、ECL（Electricity Consumption Load）公开数据集和一个私有数据集上，所提模型与工业领域应用最广泛使用的长短期记忆网络（LSTM）、自回归积分滑动平均（ARIMA）模型等4种模型进行对比实验的结果表明，所提模型的均方误差（MSE）和平均绝对误差（MAE）两项指标均有下降，性能有所提升。

关键词: 时序预测, 工业数据, 卷积神经网络, Informer模型, 短时傅里叶变换

Abstract:

In actual industrial production， Informer model will lose a large number of temporal characteristics during feature extraction due to its probabilistic sparsity mechanism. To address this shortcoming of Informer model and meet the demands for prediction speed and efficiency in industrial production， a Convolutional Neural Network （CNN）-enhanced Informer model was proposed. Short-Time Fourier Transform （STFT） was introduced to process sequence to obtain frequency-domain features of the data， thereby further reducing feature loss caused by probabilistic sparse attention mechanism and improving prediction accuracy. On public datasets， ETT （Electricity Transformer Temperature）， ECL （Electricity Consumption Load）， as well as one private dataset， comparative experiments were conducted between the proposed model and four models widely used in the industrial field， including Long Short-Term Memory （LSTM） and AutoRegressive Integrated Moving Average （ARIMA） model. Experimental results show that both Mean Squared Error （MSE） and Mean Absolute Error （MAE） of the proposed model are decreased.

Key words: time series prediction, industrial data, Convolutional Neural Network (CNN), Informer model, Short-Term Fourier Transform (STFT)

中图分类号:

TP391.1

李嘉源, 王晓东, 何启学. CNN增强型Informer模型在工业时间序列预测中的应用及性能优化[J]. 计算机应用, 0, (): 79-83.

Jiayuan LI, Xiaodong WANG, Qixue HE. Application and performance optimization of CNN enhanced Informer model in industrial time series prediction[J]. Journal of Computer Applications, 0, (): 79-83.

图/表 4

参考文献 19

1	PLESCIA M， BROWNSON R C. 17 strategic skills in focus： data-driven decision-making policy engagement ［M］// Building strategic skills for better health： a primer for public health professionals. Oxford： University of Oxford Press， 2023： 230.
2	TORRES J F， HADJOUT D， SEBAA A， et al. Deep learning for time series forecasting： a survey ［J］. Big Data， 2021， 9（1）： 3-21.
3	SHEN X， ZHANG Y， TANG Y， et al. A study on the impact of digital tobacco logistics on tobacco supply chain performance： taking the tobacco industry in Guangxi as an example ［J］. Industrial Management and Data Systems， 2022， 122（6）： 1416-1452.
4	苏靖程，王志强，屈江江，等. 基于BP神经网络和支持向量回归的燃煤电厂空气预热器压差预测［J］. 发电技术， 2023， 44（4）：550-556.
5	赵丽雅，周文学.基于K近邻算法和混合模型的短期交通流预测［J］. 应用数学进展， 2023， 12（10）： 4330-4337.
6	GRAVES A. Long short-term memory［M］// Supervised sequence labelling with recurrent neural networks， SCI 385. Berlin： Springer， 2012： 37-45.
7	ALIJOYO F A， GONGADA T N， KAUR C， et al. Advanced hybrid CNN-Bi-LSTM model augmented with GA and FFO for enhanced cyclone intensity forecasting ［J］. Alexandria Engineering Journal， 2024， 92： 346-357.
8	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
9	ZHOU H， ZHANG S， PENG J， et al. Informer： beyond efficient Transformer for long sequence time-series forecasting ［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021： 11106-11115.
10	CHEN M， PENG H， FU J， et al. AutoFormer： searching Transformers for visual recognition ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 12250-12260.
11	严迅，铁承城，鄢薇，等. 基于ARIMA模型和CNN-LSTM组合模型的全球气温预测分析［J］. 科技与创新， 2024（2）：19-22.
12	刘杭. 基于多模型融合的时序数据预测方法研究［D］. 苏州：苏州科技大学， 2022：12-13.
13	WANG H， LIU Z， PENG D， et al. Understanding and learning discriminant features based on multiattention 1DCNN for wheelset bearing fault diagnosis ［J］. IEEE Transactions on Industrial Informatics， 2020， 16（9）： 5735-5745.
14	HE J， LI L， XU J， et al. ReLU deep neural networks and linear finite elements ［J］. Journal of Computational Mathematics， 2020， 38（3）： 502-527.
15	TAO H， WANG P， CHEN Y， et al. An unsupervised fault diagnosis method for rolling bearing using STFT and generative neural networks［J］. Journal of the Franklin Institute， 2020， 357（11）： 7286-7307.
16	SONG L， XIA M， WENG L， et al. Axial cross attention meets CNN： bibranch fusion network for change detection ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2023， 16： 21-32.
17	GONG M， ZHAO Y， SUN J， et al. Load forecasting of district heating system based on Informer ［J］. Energy， 2022， 253： No.124179.
18	SHUMWAY R H， STOFFER D S. ARIMA models ［M］// Time series analysis and its applications： with R examples. Cham： Springer， 2017： 75-163.
19	刘涅煊，杨学良，陶晓峰，等. 基于改进Prophet算法的短期日负荷预测方法研究［J］. 电力需求侧管理， 2022， 24（5）：58-63.

数据集	训练集样本数	测试集样本数	特征维度
ETTh1	17 420	4 380	7
ETTh2	17 420	4 380	7
ETTm1	69 680	17 420	7
ECL	17 520	8 760	4
PB08	60 488	16 430	7

数据集	训练集样本数	测试集样本数	特征维度
ETTh1	17 420	4 380	7
ETTh2	17 420	4 380	7
ETTm1	69 680	17 420	7
ECL	17 520	8 760	4
PB08	60 488	16 430	7

数据集	窗口长度	CNN-Informer		Informer		LSTM		ARIMA		Prophet
数据集	窗口长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
ETTh1	24	0.092	0.244	0.098	0.247	0.114	0.272	0.108	0.284	0.115	0.275
	48	0.161	0.322	0.158	0.319	0.193	0.358	0.175	0.424	0.168	0.330
	168	0.181	0.354	0.183	0.346	0.236	0.392	0.396	0.504	1.224	0.763
	336	0.215	0.369	0.222	0.387	0.590	0.698	0.468	0.593	1.549	1.820
	720	0.257	0.421	0.269	0.435	0.683	0.768	0.659	0.766	2.735	3.253
ETTh2	24	0.092	0.236	0.093	0.240	0.155	0.307	3.554	0.445	0.199	0.381
	48	0.154	0.314	0.155	0.314	0.190	0.348	3.190	0.474	0.304	0.462
	168	0.229	0.376	0.232	0.389	0.385	0.514	2.800	0.595	2.145	1.068
	336	0.258	0.393	0.263	0.417	0.558	0.606	2.753	0.738	2.096	2.543
	720	0.267	0.429	0.277	0.431	0.640	0.681	2.878	1.044	3.355	4.664
ETTm1	24	0.038	0.145	0.030	0.137	0.121	0.233	0.090	0.206	0.120	0.290
	48	0.066	0.194	0.069	0.203	0.305	0.411	0.179	0.306	0.133	0.305
	168	0.187	0.375	0.194	0.372	0.287	0.420	0.272	0.399	0.194	0.396
	336	0.434	0.548	0.401	0.554	0.524	0.584	0.462	0.558	0.452	0.574
	720	0.521	0.654	0.512	0.644	1.064	0.873	0.639	0.697	2.747	1.174
ECL	24	0.241	0.368	0.239	0.359	0.493	0.539	0.879	0.764	0.524	0.595
	48	0.315	0.436	0.447	0.503	0.723	0.655	1.032	0.833	2.725	1.273
	168	0.414	0.519	0.489	0.528	1.212	0.898	1.136	0.876	2.246	3.077
	336	0.536	0.595	0.540	0.571	1.511	0.966	1.251	0.933	4.243	1.415
	720	0.579	0.683	0.582	0.608	1.545	1.006	1.370	0.982	6.901	4.264
PB08	24	0.117	0.251	0.119	0.256	0.131	0.254	0.219	0.355	0.302	0.433
	48	0.178	0.318	0.185	0.316	0.190	0.334	0.273	0.409	0.445	0.536
	168	0.266	0.398	0.269	0.404	0.341	0.448	0.503	0.599	2.441	1.142
	336	0.297	0.416	0.310	0.422	0.456	0.554	0.728	0.730	1.987	2.468
	720	0.359	0.466	0.361	0.471	0.866	0.809	1.062	0.943	3.859	1.144

数据集	窗口长度	CNN-Informer		Informer		LSTM		ARIMA		Prophet
数据集	窗口长度	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE	MSE	MAE
ETTh1	24	0.092	0.244	0.098	0.247	0.114	0.272	0.108	0.284	0.115	0.275
	48	0.161	0.322	0.158	0.319	0.193	0.358	0.175	0.424	0.168	0.330
	168	0.181	0.354	0.183	0.346	0.236	0.392	0.396	0.504	1.224	0.763
	336	0.215	0.369	0.222	0.387	0.590	0.698	0.468	0.593	1.549	1.820
	720	0.257	0.421	0.269	0.435	0.683	0.768	0.659	0.766	2.735	3.253
ETTh2	24	0.092	0.236	0.093	0.240	0.155	0.307	3.554	0.445	0.199	0.381
	48	0.154	0.314	0.155	0.314	0.190	0.348	3.190	0.474	0.304	0.462
	168	0.229	0.376	0.232	0.389	0.385	0.514	2.800	0.595	2.145	1.068
	336	0.258	0.393	0.263	0.417	0.558	0.606	2.753	0.738	2.096	2.543
	720	0.267	0.429	0.277	0.431	0.640	0.681	2.878	1.044	3.355	4.664
ETTm1	24	0.038	0.145	0.030	0.137	0.121	0.233	0.090	0.206	0.120	0.290
	48	0.066	0.194	0.069	0.203	0.305	0.411	0.179	0.306	0.133	0.305
	168	0.187	0.375	0.194	0.372	0.287	0.420	0.272	0.399	0.194	0.396
	336	0.434	0.548	0.401	0.554	0.524	0.584	0.462	0.558	0.452	0.574
	720	0.521	0.654	0.512	0.644	1.064	0.873	0.639	0.697	2.747	1.174
ECL	24	0.241	0.368	0.239	0.359	0.493	0.539	0.879	0.764	0.524	0.595
	48	0.315	0.436	0.447	0.503	0.723	0.655	1.032	0.833	2.725	1.273
	168	0.414	0.519	0.489	0.528	1.212	0.898	1.136	0.876	2.246	3.077
	336	0.536	0.595	0.540	0.571	1.511	0.966	1.251	0.933	4.243	1.415
	720	0.579	0.683	0.582	0.608	1.545	1.006	1.370	0.982	6.901	4.264
PB08	24	0.117	0.251	0.119	0.256	0.131	0.254	0.219	0.355	0.302	0.433
	48	0.178	0.318	0.185	0.316	0.190	0.334	0.273	0.409	0.445	0.536
	168	0.266	0.398	0.269	0.404	0.341	0.448	0.503	0.599	2.441	1.142
	336	0.297	0.416	0.310	0.422	0.456	0.554	0.728	0.730	1.987	2.468
	720	0.359	0.466	0.361	0.471	0.866	0.809	1.062	0.943	3.859	1.144

模型	MSE	MAE
模型A	0.222	0.387
模型B	0.218	0.367
模型C	0.220	0.361

CNN增强型Informer模型在工业时间序列预测中的应用及性能优化

Application and performance optimization of CNN enhanced Informer model in industrial time series prediction

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 19

相关文章 15

编辑推荐

Metrics

[1]	耿海军, 董赟, 胡治国, 池浩田, 杨静, 尹霞. 基于Attention-1DCNN-CE的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 872-882.
[2]	袁宝华, 陈佳璐, 王欢. 融合多尺度语义和双分支并行的医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 988-995.
[3]	王地欣, 王佳昊, 李敏, 陈浩, 胡光耀, 龚宇. 面向水声通信网络的异常攻击检测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 526-533.
[4]	张翰林, 王俊陆, 宋宝燕. 融合衍生特征的时间序列事件分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 428-435.
[5]	李严, 叶冠华, 李雅文, 梁美玉. 基于丰度协调技术的企业ESG指标预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 670-676.
[6]	徐欣然, 张绍兵, 成苗, 张洋, 曾尚. 基于多路层次化混合专家模型的轴承故障诊断方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 59-68.
[7]	缪孜珺, 罗飞, 丁炜超, 董文波. 基于全局状态预测与公平经验重放的交通信号控制算法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 337-344.
[8]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[9]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[10]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[11]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[12]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[13]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[14]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[15]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.