基于安全强化学习的自动发电控制-计算机科学-安全强化学习-自适应通用控制.pdfVIP

基于安全强化学习的自动发电控制

AmrS.Mohamed,EmilyNguyen,andDeepaKundur

TheEdwardS.RogersSr.DepartmentofElectricalComputerEngineering,UniversityofToronto

Toronto,Ontario,Canada,M5S3G4

{{amr.mohamed,emily.nguyen}@mail.,dkundur@}utoronto.ca

摘要—随着对实施高级控制和决策算法以增强电力系统可RL有望通过采用一种结合了多种系统数据（如可

靠性、弹性和稳定性的需求日益增长，出现了一个关于使用机器再生能源预测）的数据驱动控制策略，为AGC动态

学习技术的安全性的重要问题。虽然这些方法可以应用于推导出优化提供益处，并能够对电力扰动做出动态响应[19],

更优的控制决策，但它们往往缺乏安全保证。本文提出了一种基[20]。它减少了对难以获得的精确系统模型的依赖[17],

于控制障碍函数的框架，以促进在电力系统控制应用中（特别是

在自动发电控制的背景下）强化学习代理的安全学习和部署。我[20]，并支持复杂的安全约束条件[19]和高级调节支

们开发了必要的安全屏障和强化学习框架，以便建立对强化学习付结构[18]。本文重点讨论了一种基于集中式RL的

作为自动发电控制安全选项的信任|为未来的详细验证和应用研AGC方法，在这种方法中，RL代理可以补充或取代传

究奠定基础。统的集中式AGC控制器，并为未来应用多智能体RL

IndexTerms—安全强化学习，自适应通用控制，控制屏基分散式AGC系统提供了潜力。

障函数，CBF，深度强化学习在我们设计安全RL的方法中，我们引入了一种新

本的控制障碍函数（CBFs）的表述形式来保证AGC的安

译I.介绍全性，有效缓解了潜在的不安全的RL动作。我们通过

实验证明这种基于CBF的方法能够有效地防止学习过

中电网优化是电力系统研究的一个基本领域，由日益程中AGC故障，并使代理收敛到一个高度高效的AGC

1复杂的电力网络和对增强效率及可靠性的需求推动。不策略。据我们所知，这项研究是首次将具有正式安全性

v断推进电网优化方法的进展对于应对电力系统运行中保证的安全RL应用于AGC。下面，我们将制定障碍函

8的新兴挑战至关重要。机器学习领域的必威体育精装版进展促进了数，开发一种演员-评论家深度RL代理，并在两个区域

6电网优化的研究[1]。一种突出的机器学习方法是强化的线性化电力系统上实证验证该方法的安全性。我们在

8学习（RL），它涉及通过迭代试错交互训练智能体以学第五部分简要讨论了未来工作的必要计划。

7习最优行为。在电力系统的领域中，RL已被应用于多论文结构如下：第二节介绍了CBFs的背景。第三

1.个方面，包括需求响应、运行控制、经济调度、拥塞管节概述了在AGC的安全RL框架内整合CBFs和RL

7理[2],[3]以及网络安全[2],[4]。的方法论。第四节展示了结果，随后第五节给出了结论

0强化学习的一个关键优势是其能够适应动态、不确以及未来研究的方向。

5

2定的环境，使其成为不断变化的能源领域（包括需求响II.背景

:应引起的负荷转移、电气化和可再生能源整合）的理想

v选择。它在优化传统方法难以建模的复杂非线性系统的CBFs旨在建立一个安全集，该集合代表系统被认

i

x决策方面表现出色。为是安全的