结合LSTM和自注意力机制的图卷积网络短期电力负荷预测

doi:10.11772/j.issn.1001-9081.2023010078

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (1): 311-317.DOI: 10.11772/j.issn.1001-9081.2023010078

• 前沿与综合应用 • 上一篇

结合LSTM和自注意力机制的图卷积网络短期电力负荷预测

史含笑, 王雷春()

湖北大学计算机与信息工程学院，武汉 430062

收稿日期:2023-01-31 修回日期:2023-03-31 接受日期:2023-04-03 发布日期:2023-06-06 出版日期:2024-01-10
通讯作者: 王雷春
作者简介:史含笑（1998—），男，河南商丘人，硕士研究生，主要研究方向：电力负荷预测、深度学习；
第一联系人：王雷春（1974—），男，湖北武汉人，副教授，博士，主要研究方向：深度学习、大数据分析。
基金资助:
国家自然科学基金资助项目(62106069)

Short-term power load forecasting by graph convolutional network combining LSTM and self-attention mechanism

Hanxiao SHI, Leichun WANG()

School of Computer Science and Information Engineering，Hubei University，Wuhan Hubei 430062，China

Received:2023-01-31 Revised:2023-03-31 Accepted:2023-04-03 Online:2023-06-06 Published:2024-01-10
Contact: Leichun WANG
About author:SHI Hanxiao， born in 1998， M. S. candidate. His research interests include power load forecasting， deep learning.
Supported by:
National Natural Science Foundation of China(62106069)

摘要/Abstract

摘要：

针对现有电力负荷预测模型建模工作量大、时空联合表征不足、预测精度低等问题，提出了一种结合长短期记忆（LSTM）网络和自注意力机制的图卷积网络（GCN）的短期电力负荷预测模型GCNLS-STLF。首先，利用LSTM和自注意力机制将原始多维时间序列数据转化为包含序列间关联关系的电力负荷图；然后，通过GCN、LSTM和图傅里叶变换（GFT）对电力负荷图进行特征提取；最后，使用全连接层对特征进行重构，并利用残差进行多次预测，以增强原始电力负荷数据的表达能力。在摩洛哥与巴拿马某电站的真实历史电力负荷数据上进行的短期电力负荷预测实验结果显示，与支持向量机（SVM）、LSTM、混合模型CNN-LSTM和基于注意力的CNN-LSTM（CNN-LSTM-attention）等预测模型相比，GCNLS-STLF在摩洛哥全部电力负荷测试集上的平均绝对百分比误差（MAPE）分别降低1.94、0.90、0.49和0.37个百分点；在巴拿马电力负荷测试集上的3月份MAPE分别降低1.39、0.94、0.38和0.29个百分点，6月份MAPE分别降低1.40、0.99、0.35和0.28个百分点。实验结果表明，GCNLS-STLF能有效提取电力负荷的关键特征，预测效果较好。

关键词: 短期电力负荷预测, 图卷积网络, 图傅里叶变换, 长短期记忆网络, 自注意力机制

Abstract:

Aiming at the problems of the existing power load forecasting models such as heavy modeling workload， insufficient spatiotemporal joint representation， and low forecasting accuracy， a Short-Term power Load Forecasting model based on Graph Convolutional Network （GCN） combining Long Short-Term Memory （LSTM） network and Self-attention mechanism （GCNLS-STLF） was proposed. Firstly， original multi-dimensional time series data was transformed into a power load graph containing the correlation between series by using LSTM and self-attention mechanism. Then， the features were extracted from the power load graph by GCN， LSTM and Graph Fourier Transform （GFT）. Finally， a full connection layer was used to reconstruct features， and the residual was used to forecast the power load for multiple times to enhance the expression ability of the original power load data. The short-term power load forecasting experimental results on real historical power load data of power stations in Morocco and Panama showed that compared with Support Vector Machine （SVM）， LSTM， mixed model CNN-LSTM and CNN-LSTM based on attention （CNN-LSTM-attention）， the Mean Absolute Percentage Error （MAPE） of GCNLS-STLF was reduced by 1.94， 0.90， 0.49 and 0.37 percentage points， respectively， on the entire Morocco power load test set； the MAPE of GCNLS-STLF on the Panama power load test dataset decreased by 1.39， 0.94， 0.38 and 0.29 percentage points respectively in March and 1.40， 0.99， 0.35 and 0.28 percentage points respectively in June. Experimental results show that GCNLS-STLF can effectively extract key features of power load， and forecasting effects are satisfactory.

Key words: short-term power load forecasting, Graph Convolutional Network (GCN), Graph Fourier Transform (GFT), Long Short-Term Memory (LSTM) network, self-attention mechanism

中图分类号:

TP391

史含笑, 王雷春. 结合LSTM和自注意力机制的图卷积网络短期电力负荷预测[J]. 计算机应用, 2024, 44(1): 311-317.

Hanxiao SHI, Leichun WANG. Short-term power load forecasting by graph convolutional network combining LSTM and self-attention mechanism[J]. Journal of Computer Applications, 2024, 44(1): 311-317.

图/表 15

图1 GCNLS-STLF框架

Fig. 1 Framework of GCNLS-STLF

表1 摩洛哥数据集划分

Tab. 1 Division of Morocco dataset

分类	范围
训练集	2017年1月1日—2017年9月30日
验证集	2017年10月1日—2017年11月30日
测试集	2017年12月1日—2017年12月31日

表2 巴拿马数据集划分

Tab. 2 Division of Panama dataset

分类	范围
训练集	2016年1月1日—2019年12月31日
验证集	2020年1月1日—2020年2月29日
测试集	2020年3月1日—2020年6月26日

表3 摩洛哥数据集上不同LSTM层数的预测结果

Tab. 3 Forecasting results with different LSTM layers on Morocco dataset

LSTM层数	GCN层数	训练轮数	MAPE/%
1	1	100	1.86
2	1	100	1.67
3	1	100	1.79
4	1	100	1.90

表4 摩洛哥数据集上不同GCN层数的预测结果

Tab. 4 Forecasting results with different GCN layers on Morocco dataset

LSTM层数	GCN层数	训练轮数	MAPE/%
2	1	100	1.67
2	2	100	1.60
2	3	100	1.54
2	4	100	1.62

表5 摩洛哥数据集上不同残差次数的预测结果

Tab. 5 Forecasting results with different residual times on Morocco dataset

残差次数	训练轮数	MAPE/%
0	100	1.54
1	100	1.40
2	100	1.67
3	100	1.79

表6 摩洛哥数据集上不同模型的预测结果

Tab. 6 Forecasting results of different models on Morocco dataset

模型	工作日			休息日			全部测试集
模型	MAPE/%	MAE/kW	RMSE/kW	MAPE/%	MAE/kW	RMSE/kW	MAPE/%	MAE/kW	RMSE/kW
SVM	3.36	961.10	1 074.51	3.24	870.83	1 038.03	3.34	948.20	1 069.30
LSTM	2.34	678.47	790.26	2.03	563.89	656.80	2.30	662.10	771.19
CNN-LSTM	1.88	561.80	687.33	1.94	523.61	650.85	1.89	556.34	682.11
CNN-LSTM-attention	1.76	524.31	658.97	1.81	500.69	604.09	1.77	520.94	651.13
GCNLS-STLF	1.36	402.08	510.79	1.62	412.50	530.20	1.40	403.57	513.56

图2 摩洛哥数据集上不同模型在工作日的预测结果

Fig. 2 Forecasting results of different models on working days on Morocco dataset

图3 摩洛哥数据集上不同模型在工作日的预测误差对比

Fig. 3 Forecasting error comparison of different models on working days on Morocco dataset

图4 摩洛哥数据集上不同模型在休息日的预测结果

Fig. 4 Forecasting results of different models on rest days on Morocco dataset

图5 摩洛哥数据集上不同模型在休息日的预测误差对比

Fig. 5 Forecasting error comparison of different models on rest days on Morocco dataset

表7 巴拿马数据集上不同模型在3月的预测结果

Tab. 7 Forecasting results of different models in March on Panama dataset

模型	MAPE/%	MAE/MW	RMSE/MW
SVM	2.74	34.21	42.76
LSTM	2.29	29.17	34.19
CNN-LSTM	1.73	22.17	29.22
CNN-LSTM-attention	1.64	20.79	26.98
GCNLS-STLF	1.35	17.14	22.71

表8 巴拿马数据集上不同模型在6月的预测结果

Tab. 8 Forecasting results of different models in June on Panama dataset

模型	MAPE/%	MAE/MW	RMSE/MW
SVM	2.81	31.04	42.11
LSTM	2.40	26.23	35.04
CNN-LSTM	1.76	19.08	24.97
CNN-LSTM-attention	1.69	18.45	24.84
GCNLS-STLF	1.41	16.37	22.22

图6 巴拿马数据集上不同模型在3月8日—14日的预测结果

Fig. 6 Forecasting results of different models between March 8th and 14th on Panama dataset

图7 巴拿马数据集上不同模型在6月14日—20日的预测结果

Fig. 7 Forecasting results of different models between June 14th and 20th on Panama dataset

参考文献 23

1	AHMAD N， GHADI Y， ADNAN M， et al. Load forecasting techniques for power system： Research challenges and survey ［J］. IEEE Access， 2022， 10： 71054-71090. 10.1109/access.2022.3187839
2	SABER A Y， ALAM A K M R. Short term load forecasting using multiple linear regression for big data ［C］// Proceedings of the 2017 IEEE Symposium Series on Computational Intelligence. Piscataway： IEEE， 2017： 1-6. 10.1109/ssci.2017.8285261
3	SHARMA S， MAJUMDAR A， ELVIRA V， et al. Blind Kalman filtering for short-term load forecasting ［J］. IEEE Transactions on Power Systems， 2020， 35（6）： 4916-4919. 10.1109/tpwrs.2020.3018623
4	安颖坤，朱永丹.基于线性回归法和指数平滑法对电力负荷的预测［J］.电力设备管理， 2021（5）： 177-179.
	AN Y K， ZHU Y D. Power load prediction based on linear regression method and exponential smoothing method ［J］. Electric Power Equipment Management， 2021（5）： 177-179.
5	SINGH U， VADHERA S. Random forest and Xgboost technique for short-term load forecasting ［C］// Proceedings of the 2022 1st International Conference on Sustainable Technology for Power and Energy Systems. Piscataway： IEEE， 2022： 1-6. 10.1109/stpes54845.2022.10006635
6	ZHANG J， ZHANG Q， LI G， et al. Application of HIMVO-SVM in short-term load forecasting ［C］// Proceedings of the 2020 Chinese Control and Decision Conference. Piscataway： IEEE， 2020： 768-772. 10.1109/ccdc49329.2020.9164644
7	EMHAMED A A， SHRIVASTAVA J. Electrical load distribution forecasting utilizing Support Vector Model （SVM）［J］. Materials Today： Proceedings， 2021， 47： 41-46. 10.1016/j.matpr.2021.03.516
8	NASSIF A B， SOUDAN B， AZZEH M， et al. Artificial intelligence and statistical techniques in short-term load forecasting： A review ［EB/OL］. （2021-12-29）［2023-03-10］. . 10.15866/iremos.v14i6.21328
9	JANKOVIĆ Z， SELAKOV A， BEKUT D， et al. Day similarity metric model for short-term load forecasting supported by PSO and artificial neural network ［J］. Electrical Engineering， 2021， 103： 2973-2988. 10.1007/s00202-021-01286-6
10	CHI D W. Research on electricity consumption forecasting model based on wavelet transform and multi-layer LSTM model ［J］. Energy Reports， 2022， 8： 220-228. 10.1016/j.egyr.2022.01.169
11	BIANCHI F M， MAIORINO E， KAMPFFMEYER M C， et al. An overview and comparative analysis of recurrent neural networks for short term load forecasting ［EB/OL］. （2018-07-20）［2023-03-09］. . 10.1007/978-3-319-70338-1_4
12	肖勇，郑楷洪，郑镇境，等.基于多尺度跳跃深度长短期记忆网络的短期多变量负荷预测［J］.计算机应用， 2021， 41（1）： 231-236.
	XIAO Y， ZHENG K H， ZHENG Z J， et al. Multi-scale skip deep long short-term memory network for short-term multivariate load forecasting ［J］. Journal of Computer Applications， 2021， 41（1）： 231-236.
13	RAFI S H， NAHID-AL-MASOOD， DEEBA S R， et al. A short-term load forecasting method using integrated CNN and LSTM network ［J］. IEEE Access， 2021， 9： 32436-32448. 10.1109/access.2021.3060654
14	XU F， WENG G， YE Q， et al. Research on load forecasting based on CNN-LSTM hybrid deep learning model ［C］// Proceedings of the 2022 IEEE 5th International Conference on Electronics Technology. Piscataway： IEEE， 2022： 1332-1336. 10.1109/icet55676.2022.9824615
15	AGGA A， ABBOU A， LABBADI M， et al. Short-term self consumption PV plant power production forecasts based on hybrid CNN-LSTM， ConvLSTM models ［J］. Renewable Energy， 2021， 177： 101-112. 10.1016/j.renene.2021.05.095
16	魏健，赵红涛，刘敦楠，等.基于注意力机制的CNN-LSTM短期电力负荷预测方法［J］.华北电力大学学报（自然科学版）， 2021， 48（1）： 42-47. 10.3969/j.ISSN.1007-2691.2021.01.05
	WEI J， ZHAO H T， LIU D N， et al. Short-term power load forecasting method by attention-based CNN-LSTM ［J］. Journal of North China Electric Power University （Natural Science Edition）， 2021， 48（1）： 42-47. 10.3969/j.ISSN.1007-2691.2021.01.05
17	LIU J， GAO H， YAN Q， et al. Short-term load forecasting method based on LSTM-attention mechanism ［C］// Proceedings of the 2021 IEEE Sustainable Power and Energy Conference. Piscataway： IEEE， 2021： 3837-3842. 10.1109/ispec53008.2021.9735593
18	WU Z， PAN S， CHEN F， et al. A comprehensive survey on graph neural networks ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（1）： 4-24. 10.1109/tnnls.2020.2978386
19	XIONG J， HONG H， XU C， et al. Graph convolutional network based electricity demand forecasting in power distribution networks ［C］// Proceedings of the 2022 International Conference on Artificial Intelligence and Autonomous Robot Systems. Piscataway： IEEE， 2022： 104-109. 10.1109/aiars57204.2022.00031
20	JIANG R， WANG S， ZHANG Y. A dynamic temporal self-attention graph convolutional network for traffic prediction ［EB/OL］. （2023-02-21）［2023-03-08］. .
21	CAO D， WANG Y， DUAN J， et al. Spectral temporal graph neural network for multivariate time-series forecasting ［EB/OL］. （2021-03-13）［2023-03-13］. . 10.48550/arXiv.2103.07719
22	YIN X， YAN D， ALMUDAIFER A， et al. Forecasting stock prices using stock correlation graph： A graph convolutional network approach ［C］// Proceedings of the 2021 International Joint Conference on Neural Networks. Piscataway： IEEE， 2021： 1-8. 10.1109/ijcnn52387.2021.9533510
23	AZAM M F， YOUNIS M S. Multi-horizon electricity load and price forecasting using an interpretable multi-head self-attention and EEMD-based framework ［J］. IEEE Access， 2021， 9： 85918-85932. 10.1109/access.2021.3086039

[1]	陈佳, 张鸿. 基于特征增强和语义相关性匹配的图像文本检索方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 16-23.
[2]	陈丽安, 过弋. 融合个体偏差信息的文本情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 145-151.
[3]	徐丽, 符祥远, 李浩然. 基于门控卷积的时空交通流预测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2760-2765.
[4]	袁国龙, 张玉金, 刘洋. 基于残差反馈和自注意力的图像篡改取证网络[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2925-2931.
[5]	魏远, 林彦, 郭晟楠, 林友芳, 万怀宇. 融合出发地与目的地时空相关性的城市区域间出租车需求预测[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2100-2106.
[6]	张奕, 蔡钢生, 王真梅. 基于语义与全局双重注意力机制的长链非编码RNA-疾病关联预测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2125-2132.
[7]	张奕, 王真梅. 图自动编码器上二阶段融合实现的环状RNA-疾病关联预测[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1979-1986.
[8]	金柯君, 于洪涛, 吴翼腾, 李邵梅, 张建朋, 郑洪浩. 改进的基于奇异值分解的图卷积网络防御方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1511-1517.
[9]	吴家皋, 章仕稳, 蒋宇栋, 刘林峰. 基于状态精细化长短期记忆和注意力机制的社交生成对抗网络用于行人轨迹预测[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1565-1570.
[10]	杨海宇, 郭文普, 康凯. 基于卷积长短时深度神经网络的信号调制方式识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1318-1322.
[11]	孙浩, 曹健, 李海生, 毛典辉. 基于改进胶囊网络的会话型推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1043-1049.
[12]	方澄, 李贝, 韩萍, 吴琼. 基于语法依存图的中文微博细粒度情感分类[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1056-1061.
[13]	姚英茂, 姜晓燕. 基于图卷积网络与自注意力图池化的视频行人重识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 728-735.
[14]	尹春勇, 周立文. 基于再编码的无监督时间序列异常检测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 804-811.
[15]	彭涛, 康亚龙, 余锋, 张自力, 刘军平, 胡新荣, 何儒汉, 李丽. 基于多头软注意力图卷积网络的行人轨迹预测[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 736-743.

结合LSTM和自注意力机制的图卷积网络短期电力负荷预测

Short-term power load forecasting by graph convolutional network combining LSTM and self-attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 23

相关文章 15

编辑推荐

Metrics