结合注意力机制与深度强化学习的超短期光伏功率预测

doi:10.11772/j.issn.1001-9081.2022040542

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (5): 1647-1654.DOI: 10.11772/j.issn.1001-9081.2022040542

• 前沿与综合应用 • 上一篇

结合注意力机制与深度强化学习的超短期光伏功率预测

丁正凯¹^,², 傅启明¹^,²(), 陈建平²^,³^,⁴, 陆悠¹^,², 吴宏杰¹, 方能炜⁴, 邢镔⁴

^1.苏州科技大学电子与信息工程学院, 江苏苏州 215009
^2.江苏省建筑智慧节能重点实验室(苏州科技大学), 江苏苏州 215009
^3.苏州科技大学建筑与城市规划学院, 江苏苏州 215009
^4.重庆工业大数据创新中心有限公司, 重庆 400707

收稿日期:2022-04-21 修回日期:2022-06-13 接受日期:2022-06-15 发布日期:2022-07-01 出版日期:2023-05-10
通讯作者: 傅启明
作者简介:丁正凯（1996—），男，江苏盐城人，硕士研究生，主要研究方向：深度强化学习、建筑智能化
傅启明（1985—），男，江苏淮安人，副教授，博士，CCF会员，主要研究方向：强化学习、模式识别、建筑节能 fqm_1@mail.usts.edu.cn
陈建平（1963—），男，江苏南京人，教授，博士，主要研究方向：建筑节能、智能信息处理
陆悠（1977—），男，江苏苏州人，副教授，博士，主要研究方向：下一代网络体系结构、云计算与大数据、区块链
吴宏杰（1977—），男，江苏苏州人，教授，博士，主要研究方向：人工智能、数据挖掘、生物信息、工业互联网
方能炜（1980—），男，北京人，硕士，主要研究方向：工业大数据
邢镔（1962—），男，北京人，博士，主要研究方向：工业大数据分析、智能制造、工业机制模型、人工智能。
基金资助:
国家重点研发计划项目(2020YFC2006602);国家自然科学基金资助项目(62102278);江苏省高校自然科学基金资助项目(21KJA520005);江苏省重点研发计划项目(BE2020026);江苏省自然科学基金资助项目(BK20190942)

Ultra-short-term photovoltaic power prediction by deep reinforcement learning based on attention mechanism

Zhengkai DING¹^,², Qiming FU¹^,²(), Jianping CHEN²^,³^,⁴, You LU¹^,², Hongjie WU¹, Nengwei FANG⁴, Bin XING⁴

^1.School of Electronic and Information Engineering，Suzhou University of Science and Technology，Suzhou Jiangsu 215009，China
^2.Jiangsu Key Laboratory of Intelligent Building Energy Efficiency （Suzhou University of Science and Technology），Suzhou Jiangsu 215009，China
^3.School of Architecture and Urban Planning，Suzhou University of Science and Technology，Suzhou Jiangsu 215009，China
^4.Chongqing Industrial Big Data Innovation Center Company Limited，Chongqing 400707，China

Received:2022-04-21 Revised:2022-06-13 Accepted:2022-06-15 Online:2022-07-01 Published:2023-05-10
Contact: Qiming FU
About author:DING Zhengkai， born in 1996， M. S. candidate. His research interests include deep reinforcement learning， building intelligence.
FU Qiming， born in 1985， Ph. D.， associate professor. His research interests include reinforcement learning， pattern recognition， building energy saving.
CHEN Jianping， born in 1963， Ph. D.， professor. His research interests include building energy saving， intelligent information processing.
LU You， born in 1977， Ph. D.， associate professor. His research interests include next generation network architecture， cloud computing and big data， blockchain.
WU Hongjie， born in 1977， Ph. D.， professor. His research interests include artificial intelligence， data mining， bioinformatics， industrial internet.
FANG Nengwei， born in 1980， M. S. His research interests include industrial big data.
XING Bin， born in 1962， Ph. D. His research interests include industrial big data analysis， intelligent manufacturing， industrial mechanism model， artificial intelligence.
Supported by:
National Key Research and Development Program of China(2020YFC2006602);National Natural Science Foundation of China(62102278);University Natural Science Foundation of Jiangsu Province(21KJA520005);Key Research and Development Program of Jiangsu Province(BE2020026);Natural Science Foundation of Jiangsu Province(BK20190942)

摘要/Abstract

摘要：

针对传统光伏（PV）功率预测模型受功率随机波动性影响以及易忽略重要信息导致预测精度低的问题，将注意力机制分别与深度确定性策略梯度（DDPG）和循环确定性策略梯度（RDPG）相结合提出了ADDPG和ARDPG模型，并在此基础上提出一个PV功率预测框架。首先，将原始PV功率数据以及气象数据标准化，并将PV功率预测问题建模为马尔可夫决策过程（MDP），历史功率数据和当前气象数据则作为MDP的状态；然后，将注意力机制加入DDPG和RDPG的Actor网络，赋予状态中各个分量不同的权重来突出重要且关键的信息，并通过深度强化学习智能体和历史数据的交互来学习数据中的关键信息；最后，求解MDP问题得到最优的策略，作出准确的预测。在DKASC、Alice Springs光伏系统数据上的实验结果表明，ADDPG和ARDPG在均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R²）上均取得了最优结果。可见，所提模型能够有效提高PV功率的预测精度，也可以推广到其他预测领域如电网预测、风力发电预测等。

关键词: 深度强化学习, 注意力机制, 光伏功率预测, 深度确定性策略梯度, 循环确定性策略梯度

Abstract:

To address the problem that traditional PhotoVoltaic （PV） power prediction models are affected by random power fluctuation and tend to ignore important information， resulting in low prediction accuracy， ADDPG and ARDPG models were proposed by combining the attention mechanism with Deep Deterministic Policy Gradient （DDPG） and Recurrent Deterministic Policy Gradient （RDPG）， respectively， and a PV power prediction framework was proposed on this basis. Firstly， the original PV power data and meteorological data were normalized， and the PV power prediction problem was modeled as a Markov Decision Process （MDP）， where the historical power data and current meteorological data were used as the states of MDP. Then the attention mechanism was added to the Actor networks of DDPG and RDPG， giving different weights to different components of the state to highlight important and critical information， and learning critical information in the data through the interaction of Deep Reinforcement Learning （DRL） agents and historical data. Finally， the MDP problem was solved to obtain the optimal strategy and make accurate prediction. Experimental results on DKASC and Alice Springs PV system data show that ADDPG and ARDPG achieve the best results in Root Mean Square Error （RMSE）， Mean Absolute Error （MAE） and R². It can be seen that the proposed models can effectively improve the prediction accuracy of PV power， and can also be extended to other prediction fields such as grid prediction and wind power generation prediction.

Key words: deep reinforcement learning, attention mechanism, PhotoVoltaic (PV) power prediction, Deep Deterministic Policy Gradient (DDPG), Recurrent Deterministic Policy Gradient (RDPG)

中图分类号:

TP183

丁正凯, 傅启明, 陈建平, 陆悠, 吴宏杰, 方能炜, 邢镔. 结合注意力机制与深度强化学习的超短期光伏功率预测[J]. 计算机应用, 2023, 43(5): 1647-1654.

Zhengkai DING, Qiming FU, Jianping CHEN, You LU, Hongjie WU, Nengwei FANG, Bin XING. Ultra-short-term photovoltaic power prediction by deep reinforcement learning based on attention mechanism[J]. Journal of Computer Applications, 2023, 43(5): 1647-1654.

图/表 13

图1 MDP示意图

Fig.1 Schematic diagram of MDP

图2 DDPG模型

Fig.2 DDPG model

图3 LSTM模型结构

Fig.3 LSTM model structure

图4 本文研究框架

Fig.4 Research framework of this paper

表1 状态空间

Tab. 1 State space

参数	时间步长/min	单位
Wind Speed （WS）	5	m/s
Temperature （TE）	5	℃
Relative Humidity （RH）	5	$%$
Global Horizontal Radiation （GHR）	5	$w / m 2 × s r$
Diffuse Horizontal Radiation （DHR）	5	$w / m 2 × s r$
Wind Direction （WD）	5	$A ̂ °$
Radiation Global Tilted （RGT）	5	$w / m 2 × s r$
Radiation Diffuse Tilted （RDT）	5	$w / m 2 × s r$
Active Power （AP）	5	kW

表1 状态空间

Tab. 1 State space

参数	时间步长/min	单位
Wind Speed （WS）	5	m/s
Temperature （TE）	5	℃
Relative Humidity （RH）	5	$%$
Global Horizontal Radiation （GHR）	5	$w / m 2 × s r$
Diffuse Horizontal Radiation （DHR）	5	$w / m 2 × s r$
Wind Direction （WD）	5	$A ̂ °$
Radiation Global Tilted （RGT）	5	$w / m 2 × s r$
Radiation Diffuse Tilted （RDT）	5	$w / m 2 × s r$
Active Power （AP）	5	kW

图5 基于attention机制的DRL的训练框图

Fig.5 Training block diagram of DRL based on attention mechanism

图6 Attention网络结构

Fig.6 Attention network structure

图7 ADDPG的Actor网络结构

Fig.7 Network structure of Actor in ADDPG

图8 ARDPG的Actor网络结构

Fig.8 Network structure of Actor in ARDPG

图9 部分光伏数据

Fig.9 Partial PV data

图10 四个模型的奖赏图

Fig.10 Reward diagram for 4 models

图11 九个模型的预测结果

Fig.11 Prediction results of nine models

表2 测试数据的预测精度和训练时间对比

Tab. 2 Comparison of prediction accuracy and training time of test data

模型	MAE	RMSE	R²	训练时间/ min
ADDPG	0.660	1.025	0.974	14.01
DDPG	0.899	1.353	0.955	17.44
ARDPG	0.737	1.139	0.968	199.74
RDPG	1.070	1.659	0.933	207.12
LSTM+attention	1.060	1.402	0.952	12.49
LSTM	1.456	1.817	0.920	13.98
CNN+attention	1.544	1.970	0.906	7.20
CNN	3.018	3.620	0.685	8.53
BPNN	1.802	2.151	0.888	6.07

参考文献 21

1	HUANG X Q， ZHANG C， LI Q， et al. A comparison of hour-ahead solar irradiance forecasting models based on LSTM network［J］. Mathematical Problems in Engineering， 2020， 2020： No.4251517. 10.1155/2020/4251517
2	GU W B， MA T， SONG A T， et al. Mathematical modelling and performance evaluation of a hybrid photovoltaic-thermoelectric system［J］. Energy Conversion and Management， 2019， 198： No.111800. 10.1016/j.enconman.2019.111800
3	SHARADGA H， HAJIMIRZA S， BALOG R S. Time series forecasting of solar power generation for large-scale photovoltaic plants［J］. Renewable Energy， 2020， 150：797-807. 10.1016/j.renene.2019.12.131
4	MELLIT A， SAǦLAM Ş， KALOGIROU S A. Artificial neural network-based model for estimating the produced power of a photovoltaic module［J］. Renewable Energy， 2013， 60：71-78. 10.1016/j.renene.2013.04.011
5	QING X Y， NIU Y G. Hourly day-ahead solar irradiance prediction using weather forecasts by LSTM［J］. Energy， 2018， 148：461-468. 10.1016/j.energy.2018.01.177
6	马磊，黄伟，李克成，等. 基于Attention-LSTM的光伏超短期功率预测模型［J］. 电测与仪表， 2021， 58（2）：146-152. 10.19753/j.issn1001-1390.2021.02.023
	MA L， HUANG W， LI K C， et al. Photovoltaic ultra-short-term power prediction model based on Attention-LSTM［J］. Electrical Measurement and Instrumentation， 2021， 58（2）：146-152. 10.19753/j.issn1001-1390.2021.02.023
7	钱勇生，邵洁，季欣欣，等. 基于LSTM-Attention网络的短期风电功率预测［J］. 电机与控制应用， 2019， 46（9）：95-100. 10.3969/j.issn.1673-6540.2019.09.016
	QIAN Y S， SHAO J， JI X X， et al. Short-term wind power forecasting based on LSTM-Attention network［J］. Electrical Machines and Control Applications， 2019， 46（9）：95-100. 10.3969/j.issn.1673-6540.2019.09.016
8	WANG S， WEI L F， ZENG L. Ultra-short-term photovoltaic power prediction based on VMD-LSTM-RVM model［J］. IOP Conference Series： Earth and Environmental Science， 2021， 781（4）： No.042020. 10.1088/1755-1315/781/4/042020
9	孟安波，许炫淙，陈嘉铭，等. 基于强化学习和组合式深度学习模型的超短期光伏功率预测［J］. 电网技术， 2021， 45（12）：4721-4728.
	MENG A B， XU X C， CHEN J M， et al. Ultra short term photovoltaic power prediction based on reinforcement learning and combined deep learning models［J］. Power System Technology， 2021， 45（12）：4721-4728.
10	MNIH V， KAVUKCUOGLU K， SILVER D， et al. Human-level control through deep reinforcement learning［J］. Nature， 2015， 518（7540）：529-533. 10.1038/nature14236
11	SANGIOVANNI B， INCREMONA G P， PIASTRA M， et al. Self-configuring robot path planning with obstacle avoidance via deep reinforcement learning［J］. IEEE Control Systems Letters， 2021， 5（2）：397-402. 10.1109/lcsys.2020.3002852
12	HUANG B， WANG J H. Deep-reinforcement-learning-based capacity scheduling for PV-battery storage system［J］. IEEE Transactions on Smart Grid， 2021， 12（3）：2272-2283. 10.1109/tsg.2020.3047890
13	PHAN B C， LAI Y C， LIN C E. A deep reinforcement learning-based MPPT control for PV systems under partial shading condition［J］. Sensors， 2020， 20（11）： No.3039. 10.3390/s20113039
14	SUTTON R S， BARTO A G. Reinforcement Learning： An Introduction［M］. 2nd ed. Cambridge： MIT Press， 2018：1-2.
15	LILLICRAP T P， HUNT J J， PRITZEL A， et al. Continuous control with deep reinforcement learning［EB/OL］. ［2022-03-20］..
16	SUTTON R S， McALLESTER D， SINGH S， et al. Policy gradient methods for reinforcement learning with function approximation［C］// Proceedings of the 12th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 1999：1057-1063.
17	SILVER D， LEVER G， HEESS N， et al. Deterministic policy gradient algorithms［C］// Proceedings of the 31st International Conference on Machine Learning. New York： JMLR.org， 2014：387-395.
18	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）：1735-1780. 10.1162/neco.1997.9.8.1735
19	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：6000-6010.
20	O'SHEA K， NASH R. An introduction to convolutional neural networks［EB/OL］. （2015-12-02）［2022-02-16］..
21	DKASC， Alice Springs datasets［DB/OL］. ［2022-01-06］.. 10.1002/aps.1375

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	周毅, 高华, 田永谌. 基于裁剪优化和策略指导的近端策略优化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2334-2341.
[5]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[6]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[7]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[8]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[9]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[10]	马天, 席润韬, 吕佳豪, 曾奕杰, 杨嘉怡, 张杰慧. 基于深度强化学习的移动机器人三维路径规划方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2055-2064.
[11]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[12]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[13]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[14]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.
[15]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.

结合注意力机制与深度强化学习的超短期光伏功率预测

Ultra-short-term photovoltaic power prediction by deep reinforcement learning based on attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 21

相关文章 15

编辑推荐

Metrics