基于分层约束强化学习的综合能源多微网系统优化调度.pdfVIP

2024年3月电工技术学报Vol.39No.5

第39卷第5期TRANSACTIONSOFCHINAELECTROTECHNICALSOCIETYMar.2024

DOI:10.19595/ki.1000-6753.tces.230015

基于分层约束强化学习的综合能源

多微网系统优化调度

112222

董雷杨子民乔骥陈盛王新迎蒲天骄

（1．华北电力大学电气与电子工程学院北京102206

2.中国电力科学研究院有限公司北京100192）

摘要构建多微网系统是消纳可再生能源、提升电网稳定性的有效方式。通过各微网的协调

调度，可有效提升微网的运行效益以及可再生能源的消纳水平。现有多微网优化问题场景多元，

变量众多，再加上源荷不确定性及多微网主体的数据隐私保护等问题，为模型的高效求解带来了

巨大挑战。为此，该文提出了一种分层约束强化学习优化方法。首先，构建了多微网分层强化学

习优化框架，上层由智能体给出各微网储能优化策略和微网间功率交互策略；下层各微网以上层

策略为约束，基于自身状态信息采用数学规划法对各微网内部的分布式电源出力进行自治优化。

通过分层架构，减小通信压力，保护微网内部数据隐私，充分发挥强化学习对源荷不确定性的自

适应能力，大幅提升了模型求解速度，并有效兼顾了数学规划法的求解精度。此外，将拉格朗日

乘子法与传统强化学习方法相结合，提出一种约束强化学习求解方法，有效地解决了传统强化学

习方法难以处理的约束越限问题。最后通过算例验证了该方法的有效性和优势。

关键词：多微网系统分层约束强化学习不确定性数据隐私保护

中图分类号：TM73

0引言进行求解，并通过算例验证了模型及算法的有效

性。此外，其他常用算法如遗传算法[7-8]、粒子群算

在“双碳”目标背景下，新能源渗透率逐渐升

法[9-10]、差分进化算法[11]、目标级联法[12]及交替方

高。多微网系统作为一种包含可再生能源、多能负

向乘子法[13-14]等也已应用于多微网优化问题中。然

荷、分布式储能等的综合集成单元，可以通过微网

而以上方法均依赖系统的精细建模及源荷的精准

内多能互补和微网间协调优化，在增强配电网系统

预测，难以针对源荷随机变化动态响应，当源荷随

供电可靠性和促进可再生能源就地消纳等方面发挥

显著作用[1-4]。然而多微网系统规模较大，同时由于机波动时，相应的模型、预测器和求解器均需要进

行重设。

可再生能源出力的波动性、不同能源形式之间的耦

深度强化学习（DeepReinforcementLearning,

合性等，其调度优化问题面临着重大挑战，因此寻

DRL）通过与环境的交互试错寻找最优策略，不依

找能够实现高效能量管理的优化策略对于提高系统

赖源荷的精准预测，而且对于源荷的不确定性具有

性能十分必要。

[15-1