第八章非线性随最优控制非线性随机动力学课件.doc

第八章 非线性随机最优控制 本章先介绍随机最优控制的基本概念与动态规划方法，然后论述基于拟Hamilton系统随机平均法与Bellman最优性原理的非线性随机最优控制策略，随机稳定化，以及以可靠度最大或平均首次穿越时间最长为目标的随机最优控制。 8.1 随机最优控制概论 8.1.1 引言 随机最优控制理论主要研究扩散过程的Markov反馈控制。控制的对象模型化为扩散过程，用随机微分方程描述。控制器根据当时有的关于系统状态的必威体育精装版信息，从满足约束条件的所有可能的控制中选出最优的，使控制后的系统达到预定目标的最优期望结果。随机最优控制理论目前主要应用于经济学，特别是金融问题，但它在物理、生物、工程、管理等科学领域有着广泛的应用前景。 解决确定性与随机最优控制问题的两个主要方法是Pontryagin的极大值原理与Bellman的动态规划，它们是最优控制的必要条件，在一定条件下，它们也是充分条件。极大值原理于上世纪50年代由Pontryagin与他的研究小组提出[1]，是最优控制理论的里程碑。该原理说，任意最优控制连同最优系统状态轨迹可通过求解增广Hamilton方程组得到，该方程组包括原受控系统方程及其初始条件，伴随方程及其终时条件，以及Hamilton函数的极大值条件。它是一个前向-后向确定性或随机常微分方程组，是一个初值-终值问题。极大值原理的数学意义在于，它将无限维的最优控制问题化为比它简单得多的函数的极大值问题。 动态规划于上世纪50年代由Bellman提出[2]。其基本思想是，考虑具有不同初始时刻与初始条件的一组最优控制问题，并用动态规划方程（Hamilton-Jacobi-Bellman方程或简称HJB方程）将它们联系起来，由该方程中相应的Hamilton函数取极小值或极大值条件确定一个最优的反馈控制律，将此最优控制律代回动态规划方程得最后动态规划方程，再求解最后动态规划方程得最优控制。古典的动态规划方法要求动态规划方程具有古典解，即足够光滑的解。然而，对确定性最优控制问题，即使在某些简单情形下，对随机最优控制问题，当扩散矩阵奇异时，动态规划方程都没有古典解。上世纪80年代初，Crandall与Lions[3]首先引入了所谓粘性解，使动态规划方法成为解决最优控制问题的强有力工具。这里所说的粘性解，是指偏微分方程的连续但非光滑之解，其关键特性是使用超/亚微分取代通常的微分，使之在适度的条件下维持解的唯一性。 历史上，极大值原理与动态规划乃分别独立地发展起来的。然而，它们是解决同一问题的两种不同方法,如同古典力学中的Hamilton正则方程与Hamilton-Jacobi (HJ) 方程（见第一章），极大值原理中的扩展的Hamilton方程组与动态规划中的HJB方程组是等价的，前者之解可用所谓四步法用后者直接表示，反之，后者之解可通过广义的Feynman-Kac公式用前者表示[4]。 对随机最优控制问题，动态规划方法较为有效，因为目前关于HJB方程之解的理论[5-7]与数值解法[8]已有较多的研究成果，而对极大值原理中前向-后向随机微分方程组之解的研究尚处于初始阶段。 8.1.2 随机最优控制问题的提法 随机最优控制问题的特定提法取决于受控系统运动方程的类型，对控制所施加的约束，性能指标及控制时间区间，等等。 受控系统运动方程 设受控系统运动方程为如下形式随机微分方程 (8.1-1) 式中为维矢量系统状态过程；为维矢量标准Wiener过程；为同一时刻上状态的函数，为维矢量Markov反馈控制过程；为初始时刻，当、不显含时，常取；为控制终了时刻，可为有限值、无限值或随机变量；与分别为给定的维矢量函数与维矩阵值函数，满足解存在与唯一性条件。 （8.1-1）为受控系统方程之一般形式，应用中常遇到下列特殊情形： 1. 中不含控制； 2. 与不显含时间； 3. 与为的线性函数； 4. 上述情形的某种组合。 二、控制约束 控制常受到某种约束，其形式取决于控制器。一种约束形为 （8.1-2） 它表明所有控制过程的样本属于集合U，可解释为对控制力大小的限制。另一类可能的约束形为 （8.1-3） 式中，为常数，为期望算子。时，（8.1-3）可解释为对平均总控制动量的限制。时，它可解释为对平均总控制能量的限制。还可有其他形式的控制约束。凡满足控制约束的控制称为可实现控制。而使（8.1-1）有唯一解的可实现控制称为允许控制。 三、 性能指标 最优控制的目标常用一个泛函的极小或极大来表示，该泛函称为成本泛函或性能指标。对随机最优控制，受控系统的状态与控制皆为随机过程，该泛函则为随机变量。因此，性能指标取为该泛函的数学期望。 对固定的有限时间区间控制问题，性能指标通常形为 （8.1-