微分博弈系统的优化决策与事件触发学习方法研究.pdfVIP

摘要

微分博弈系统是博弈论、最优控制理论和智能学习方法深度融合的重要技术

领域，其中系统动力学由微分方程表征，每个博弈者自主地优化自身代价函数。

由于能够较好描述和建模多主体优化决策问题，微分博弈系统被广泛用于各类最

优控制问题，例如导弹追逃问题和电力系统频率控制问题。近年来，利用自适应

动态规划技术解决微分博弈系统的优化决策问题并在线求解最优控制策略，已经

成为控制学界的前沿领域和极具发展潜力的方向。本文围绕微分博弈系统的优化

决策这一科学问题，利用自适应动态规划与强化学习和事件触发方法，解决其在

理论、算法、通信、安全、场景方面存在的主要问题和技术挑战，循序渐进地展

开系列研究内容，实现从单人到多人的逐步扩展。主要研究内容和特色包括：

(1)研究了单人微分决策系统的最优控制问题，提出了基于积分强化学习的

自适应动态事件触发学习方法，该方法仅需部分模型信息便可在线获得近似最优

解。通过严格的数学证明分析了闭环系统稳定性和神经网络权值收敛性。在数值

系统和旋转/平移执行器系统中验证了所提方法的性能和通信效率；结果表明，提

出方法可以在维持相当学习效果和控制性能的前提下实现更高效的事件触发。

(2)研究了二人零和微分博弈系统的鲁棒最优控制问题，基于单评价网络结

构对单人决策系统的成果进行了扩展设计，提出了扰动情形下的动态事件触发学

习方法。通过建立脉冲系统，严格证明了动态变量的非负性和系统的渐近稳定性。

提出方法成功应用于电力系统的负载频率控制问题，相比典型调频控制方案和已

有事件触发控制方法，所提方法能够以最低数据通信率获得较好的频率响应。

(3)研究了多人非零和微分博弈系统的优化决策问题。首先，从集中式事件

触发的角度提出了自适应异步强化学习方法，其中评价网络执行梯度下降自适应

更新而行为网络执行梯度投影更新。其次，从分散式事件触发的角度提出了动态

触发学习方法，利用经验回放提高了数据利用率。所提方法在非线性基准系统上

进行了准确性测试，然后成功解决了单车系统和多车系统的自适应巡航问题。

(4)研究了多人微分博弈系统面向静态或移动禁入区的安全控制问题，通过

在代价函数中引入障碍函数项，该问题被转换为最优规避控制问题。利用基于状

态跟随核函数的神经网络结构和基于状态外推的虚拟探索，设计了一种自适应安

全强化学习方法。对比结果表明，提出方法能够实时生成较优的安全运行轨迹。

关键词：微分博弈系统，最优控制，自适应动态规划，强化学习，事件触发学

习，动态事件触发，神经网络

ABSTRACT

Differentialgamesystemisanimportanttechnicalfieldwithdeepintegrationof

gametheory,optimalcontroltheoryandintelligentlearningmethods,wherethesystem

dynamicsischaracterizedbydifferentialequationsandeachplayerautonomously

optimizesitsindividualcostfunction.Duetotheadvantagesindescribingand

modellingoptimizationdecision-makingproblems,differentialgamesystemhasbeen

widelyappliedinvariousoptimalcontrolproblems,suchaspursuit-evasionproblem

andloadfrequencycontrolproblem.Inrecentyears,ithasbecomethefrontierdomain

andbeenofgreatpotentialdirectioninthecontrolcommunitythatsolvingtheoptimal

decision-makingproblemsofdifferentialgamesystemsw