结合注意力机制与深度强化学习的无模型光伏接入容量评估方法

doi:10.11772/j.issn.1001-9081.2025070844

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (8): 2708-2715.DOI: 10.11772/j.issn.1001-9081.2025070844

• 前沿与综合应用 • 上一篇

结合注意力机制与深度强化学习的无模型光伏接入容量评估方法

黄远航, 荣娜()

贵州大学电气工程学院，贵阳 550025

收稿日期:2025-07-28 修回日期:2025-10-16 接受日期:2025-10-17 发布日期:2025-11-05 出版日期:2026-08-10
通讯作者: 荣娜
作者简介:黄远航（2000—），男，贵州遵义人，硕士研究生，CCF会员，主要研究方向：新能源输送规划
荣娜（1979—），女，贵州贵阳人，讲师，博士，CCF会员，主要研究方向：电力系统与综合能源、电力电子装备与系统。
基金资助:
贵州省科技支撑计划项目（黔科合支撑［2023］一般290,黔科合支撑［2025］一般006）;贵州省科学技术基金资助项目（黔科合基础-zk［2025］面上599）

Model-free photovoltaic hosting capacity assessment method using attention mechanism and deep reinforcement learning

Yuanhang HUANG, Na RONG()

College of Electrical Engineering，Guizhou University，Guiyang Guizhou 550025，China

Received:2025-07-28 Revised:2025-10-16 Accepted:2025-10-17 Online:2025-11-05 Published:2026-08-10
Contact: Na RONG
About author:HUANG Yuanhang， born in 2000， M. S. candidate. His research interests include new energy delivery planning.
Supported by:
Science and Technology Support Program of Guizhou Province （Qiankehe Support［2023］ General 290, Qiankehe Support ［2025］ General 006）;Guizhou Province Science and Technology Fund （Qiankehe Base-zk［2025］ Surface 599）

摘要/Abstract

摘要：

针对传统光伏接入容量（PHC）评估方法对详细物理模型的过度依赖和高计算复杂性，以及深度强化学习方法在策略优化中的精度和稳定性有待提升的挑战，提出一种结合注意力机制与深度强化学习的无模型PHC评估方法。通过构建深度神经网络（DNN）预测节点电压并结合软演员-评论家（SAC）算法评估PHC，同时引入交互注意力机制自适应地关注状态-动作对之间的内在关联，提升对Q值的估计精度和训练稳定性。案例研究在一个真实配电网络中展开，并将所提方法与基于DIgSILENT的物理模型方法和无注意力机制的无模型方法对比。实验结果表明，所提方法的归一化平均绝对误差（NMAE）为0.045 2，归一化均方根误差（NRMSE）为0.061 8，平均绝对百分比误差（MAPE）为5.93%，决定系数（R²）为0.930 5，最大电压偏差在±3 V，验证了该方法的有效性。

关键词: 光伏接入容量, 深度强化学习, 注意力机制, 无模型方法, DIgSILENT, 软演员-评论家算法

Abstract:

Aiming at limitations of traditional Photovoltaic Hosting Capacity （PHC） assessment methods， such as over-reliance on detailed physical models and high computational complexity， as well as challenge of improving accuracy and stability of deep reinforcement learning methods in policy optimization， a model-free PHC assessment method combining attention mechanism and deep reinforcement learning was proposed. In the method， a Deep Neural Network （DNN） was constructed to predict node voltages and was combined with Soft Actor-Critic （SAC） algorithm for PHC assessment， and intrinsic correlation between state-action pairs was focused on by the interactive attention mechanism adaptively， so as to improve Q-value estimation accuracy and training stability. Case study was conducted in a real power distribution network and the proposed method was compared with the DIgSILENT-based physical modeling method and the model-free method without attention mechanism. Experimental results demonstrate that the proposed method achieves Normalized Mean Absolute Error （NMAE） of 0.045 2， Normalized Root Mean Square Error （NRMSE） of 0.061 8， Mean Absolute Percentage Error （MAPE） of 5.93%， and coefficient of determination （R²） of 0.930 5， and the maximum voltage deviation of ±3 V， verifying the validity of this method.

Key words: Photovoltaic Hosting Capacity (PHC), deep reinforcement learning, attention mechanism, model-free method, DIgSILENT, Soft Actor-Critic (SAC) algorithm

中图分类号:

TP183

黄远航, 荣娜. 结合注意力机制与深度强化学习的无模型光伏接入容量评估方法[J]. 计算机应用, 2026, 46(8): 2708-2715.

Yuanhang HUANG, Na RONG. Model-free photovoltaic hosting capacity assessment method using attention mechanism and deep reinforcement learning[J]. Journal of Computer Applications, 2026, 46(8): 2708-2715.

图/表 11

图1 算法流程

Fig. 1 Flow of algorithm

图2 状态-动作交互注意力机制的网络架构

Fig. 2 Network architecture of state-action interaction attention mechanism

图3 PHC评估的框架

Fig. 3 Framework of PHC assessment

图4 27个节点的LV配电网的网络图

Fig. 4 Network diagram of LV distribution network with 27 nodes

表1 LV配电网的线路特性 (Ohm/km)

Tab. 1 Line characteristics of LV power distribution network

线路类型	R1	X1	R0	X0
主馈线	0.316 9	0.271 8	1.152 6	0.943 0
分支线	1.492 6	0.087 2

图5 最大电压偏差

Fig. 5 Maximum voltage deviation

图6 SAC代理模型的学习曲线

Fig. 6 Learning curves of SAC surrogate model

图7 不同模型的PHC

Fig. 7 PHCs of different models

图8 PHC差值的时序与统计对比分析

Fig. 8 Time series and statistical comparative analysis of PHC differences

表2 消融实验结果对比

Tab. 2 Comparison of ablation experiment results

模型类型	MAE/kVA	RMSE/kVA	R²	NMAE	NRMSE	MAPE/%
不含注意力	2.63	3.37	0.917 3	0.052 5	0.067 4	7.62
含注意力	2.26	3.09	0.930 5	0.045 2	0.061 8	5.93

图9 光伏接入容量（不含注意力机制）

Fig. 9 PHC （without attention mechanism）

参考文献 23

[1]	Gao X， Zhang J， Sun H， et al. A review of voltage control studies on low voltage distribution networks containing high penetration distributed photovoltaics［J］. Energies， 2024， 17（13）： No.3058.
[2]	Mulenga E， Bollen M H M， Etherden N. A review of hosting capacity quantification methods for photovoltaics in low-voltage distribution grids［J］. International Journal of Electrical Power and Energy Systems， 2020， 115： No.105445.
[3]	刘科研，盛万兴，马晓晨，等. 基于多种群遗传算法的分布式光伏接入配电网规划研究［J］. 太阳能学报， 2021， 42（6）： 146-155.
	Liu Keyan， Sheng Wanxing， Ma Xiaochen， et al. Planning research of distributed photovoltaic source access distribution network based on multi-population genetic algorithm［J］. Acta Energiae Solaris Sinica， 2021， 42（6）： 146-155.
[4]	Naciri S， Moufid I， El Moussaoui H， et al. A deterministic method of distributed generation hosting capacity calculation： case study of underground distribution grid in Morocco［J］. International Journal of Electrical and Computer Engineering， 2023， 13（1）： 144-158.
[5]	郝文斌，孟志高，张勇，等. 新型电力系统下多分布式电源接入配电网承载力评估方法研究［J］. 电力系统保护与控制， 2023， 51（14）： 23-33.
	Hao Wenbin， Meng Zhigao， Zhang Yong， et al. Carrying capacity evaluation of multiple distributed power supply access to the distribution network with the background of a new power system［J］. Power System Protection and Control， 2023， 51（14）： 23-33.
[6]	王强强，姚良忠，盛万兴，等. 基于机会约束规划的配电网分布式光伏承载力提升方法［J］. 电力系统自动化， 2023， 47（18）： 132-141.
	Wang Qiangqiang， Yao Liangzhong， Sheng Wanxing， et al. Enhancement method for distributed photovoltaic hosting capacity of distribution network based on chance-constrained programming［J］. Automation of Electric Power Systems， 2023， 47（18）： 132-141.
[7]	张嘉澍，吕泉，郭雪丽，等. 考虑合理弃光的配电网光伏最大接入容量研究［J］. 太阳能学报， 2023， 44（2）： 418-426.
	Zhang Jiashu， Quan Lyu， Guo Xueli， et al. Research on maximum PV access capacity in distribution network considering proper power curtailment［J］. Acta Energiae Solaris Sinica， 2023， 44（2）： 418-426.
[8]	Du N， Tang F， Liao Q， et al. Hosting capacity assessment in distribution networks considering wind-photovoltaic-load temporal characteristics［J］. Frontiers in Energy Research， 2021， 9： No.767610.
[9]	Suchithra J， Robinson D A， Rajabi A. A model-free deep reinforcement learning-based approach for assessment of real-time PV hosting capacity［J］. Energies， 2024， 17（9）： No.2075.
[10]	Yin Z， Wang S， Zhao Q， et al. Dynamic evaluation of PV hosting capacity for distribution network based on deep reinforcement learning［C］// PESGM 2023. Piscataway： IEEE， 2023： 1-5.
[11]	丁正凯，傅启明，陈建平，等. 结合注意力机制与深度强化学习的超短期光伏功率预测［J］. 计算机应用， 2023， 43（5）： 1647-1654.
	Ding Zhengkai， Fu Qiming， Chen Jianping， et al. Ultra-short-term photovoltaic power prediction by deep reinforcement learning based on attention mechanism［J］. Journal of Computer Applications， 2023， 43（5）： 1647-1654.
[12]	Nazemi S D， Jafari M. A multi-agent deep reinforcement learning framework for real-time energy management in smart building communities［EB/OL］. （2025-04-07）［2025-09-15］..
[13]	潘锦源，邓国豪，刘剑，等. 计及光伏电源群相关性的低压配电网电压风险评估［J］. 电力电容器与无功补偿， 2022， 43（1）： 204-211.
	Pan Jinyuan， Deng Guohao， Liu Jian， et al. Voltage risk assessment of low voltage distribution network taking into account correlation of photovoltaic power［J］. Power Capacitor and Reactive Power Compensation， 2022， 43（1）： 204-211.
[14]	李彦君，刘友波，冉金周，等. 深度学习驱动的电网无功-电压优化控制策略模型［J］. 电测与仪表， 2023， 60（11）： 165-173.
	Li Yanjun， Liu Youbo， Ran Jinzhou， et al. Optimal control strategy model of reactive power-voltage in power grid driven by deep learning［J］. Electrical Measurement and Instrumentation， 2023， 60（11）： 165-173.
[15]	王乃进，韩松，罗远国. 利用日最小负荷置信区间的光伏发电准入容量确定［J］. 电力系统及其自动化学报， 2020， 32（2）： 54-60.
	Wang Naijin， Han Song， Luo Yuanguo. Method for determining the permitted capacity of photovoltaic generation using daily minimum load with confidence interval［J］. Proceedings of the CSU-EPSA， 2020， 32（2）： 54-60.
[16]	王乃进，韩松. 低压系统电压约束下光伏发电准入容量确定的简化解析式研究［J］. 电力电容器与无功补偿， 2019， 40（3）： 171-176， 181.
	Wang Naijin， Han Song. Study on simplified analytical formulas for calculating permitted capacity of photovoltaic generation in low-voltage system under voltage constraints［J］. Power Capacitor and Reactive Power Compensation， 2019， 40（3）： 171-176， 181.
[17]	Sharma A K， Choudhary A， Chaudhary R， et al. Adaptive trajectory planning in autonomous vehicles： a hierarchical reinforcement learning approach with soft actor-critic［C］// ANTS 2024. Piscataway： IEEE， 2024： 1-6.
[18]	Hu C， Cai Z， Zhang Y， et al. A soft actor-critic deep reinforcement learning method for multi-timescale coordinated operation of microgrids［J］. Protection and Control of Modern Power Systems， 2022， 7（1）： No.29.
[19]	李彬贤，李佳勇，海征，等. 基于多智能体深度强化学习的配电网三相不平衡在线治理方法［J］. 中国电机工程学报， 2025， 45（5）： 1729-1741.
	Li Binxian， Li Jiayong， Zheng Hai， et al. Online mitigation method for three-phase imbalance in distribution network based on multi-agent deep reinforcement learning［J］. Proceedings of the CSEE， 2025， 45（5）： 1729-1741.
[20]	Sun Y， Yang B. A priority experience replay actor-critic algorithm using self-attention mechanism for strategy optimization of discrete problems［J］. PeerJ Computer Science， 2024， 10： No.e2161.
[21]	Guo C， Jiang C， Liu C. Dynamic reconfiguration method of active distribution networks based on graph attention network reinforcement learning［J］. Energies， 2025， 18（8）： No.2080.
[22]	柳丹，任建宇，席磊，等. 基于高维协同软演员-评论家的多智能体自动发电控制［J］. 南方电网技术， 2025， 19（4）： 93-106.
	Liu Dan， Ren Jianyu， Xi Lei， et al. Multi-agent automatic power generation control based on high dimensional collaborative soft actor-critic［J］. Southern Power Grid Technology， 2025， 19（4）： 93-106.
[23]	宫建锋，齐屹，韩一鸣，等. 基于多目标深度强化学习的配电网光伏接纳能力提升方法［J］. 供用电， 2024， 41（3）： 2-8.
	Gong Jianfeng， Qi Yi， Han Yiming， et al. A multi-objective deep reinforcement learning approach for photovoltaic hosting capacity improvement of distribution network［J］. Distribution & Utilization， 2024， 41（3）： 2-8.

结合注意力机制与深度强化学习的无模型光伏接入容量评估方法

Model-free photovoltaic hosting capacity assessment method using attention mechanism and deep reinforcement learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 23

相关文章 15

编辑推荐

Metrics

[1]	白杰龙, 方晨韵, 乔志伟. 基于多尺度注意力自适应融合的稀疏CT伪影抑制Transformer网络[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2660-2667.
[2]	李光辉, 屈立成. 基于改进Lite-Mono架构的动态空洞卷积和分层注意力模型[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2567-2576.
[3]	陈娟, 陈玉杰, 吴宗玲, 田谛, 钟杰. 用户为中心的卫星边缘计算架构优化任务卸载[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2524-2532.
[4]	郭晓金, 隋旭洋, 周柯男. 基于深度学习的STAR⁃RIS辅助混合场通信系统信道估计[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2548-2554.
[5]	刘明, 沈东奇, 孟子洋. 双分支结构下多层次特征融合的点云配准网络[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2584-2593.
[6]	刘凤春, 邵馨莹, 张春英, 王立亚, 任静. 多尺度特征优化的单目深度估计框架FCMdepth[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2603-2611.
[7]	刘威, 李维刚, 田志强. 面向点云分类与分割的层次化旋转不变几何结构的表征学习方法[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2594-2602.
[8]	颜建强, 董贝贝, 曲博婷, 彭晨. 融合多源信息与图级注意力的双向扩散动态图卷积交通流预测网络[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2327-2333.
[9]	杜秀丽, 高星, 张校毓, 潘成胜, 邹启杰. 基于密集时空可变形注意力的视频快照压缩成像重建方法[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2288-2296.
[10]	张国有, 聂宏宇, 潘理虎, 雷润东. 基于多层感知机级联宽度学习系统的点云语义分割网络Point-MLPBLS[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2259-2266.
[11]	刘雯玲, 李勇, 李佳慧, 张厚康. 面向不均匀雾霾遥感图像的无监督去雾方法[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2297-2306.
[12]	张金萧, 李成龙, 高新燕, 张铭. 基于时空特征金字塔网络与多假设交互机制的三维人体姿态估计模型[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1965-1972.
[13]	何运平, 王雷春, 宋芮芮, 卢祥凤, 魏金香, 刘小萌. 基于对比不变性和强化特定性的双通道多模态情感分析模型[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1767-1775.
[14]	姚力挽, 刘海龙, 曾张帆. 基于频域驱动及扩散融合的声纳图像增强算法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1947-1955.
[15]	张纾豪, 何坤金, 徐佳晨, 沙河山, 陈正鸣. 融合透视校正与轻量注意力机制的轮毂缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 2007-2015.