北京交通大学(最优控制理论与算法生)第六章动态规划与离散系统最优控制案例.ppt

动态规划与离散系统最优控制(1/3) 第6章 动态规划与离散系统最优控制 前面讨论了连续系统最优控制问题的基于经典变分法和庞特里亚金的极大值原理的两种求解方法。 所谓连续系统,即系统方程是用线性或非线性微分方程描述的动态系统。 该类系统的控制问题是与传统的控制系统和控制元件的模拟形式实现相对应, 如模拟运算放大器件、模拟自动化运算仪表、模拟液压放大元件等。 随着计算机技术及其计算机控制技术的发展, 离散系统的最优控制问题也必然成为最优控制中需深入探讨的控制问题, 而且成为现代控制技术更为关注的问题。 动态规划与离散系统最优控制(2/3) 离散系统的控制问题为人们所重视的原因有二, 1) 连续系统在实现控制时，在应用计算机控制技术、数字控制技术时, 须经采样后成为离散化系统, 再加以控制 如许多现代工业控制领域的实际计算机控制问题。 2) 有些实际控制问题本身即为离散系统, 如某些经济计划系统、人口系统的时间坐标只能以小时、天或月等标记; 再如机床加工中心的时间坐标是以一个事件(如零件加工活动)的发生或结束为标志的。 动态规划与离散系统最优控制(3/3) 本节将介绍解决离散系统最优控制的有效工具—贝尔曼动态规划, 以及线性离散系统的二次最优控制问题。 内容为 最优性原理与离散系统的动态规划法 线性离散系统的二次型最优控制 最优性原理与离散系统的动态规划法(1/3) 6.1 最优性原理与离散系统的动态规划法 基于对多阶段决策过程的研究结果, 贝尔曼在20世纪50年代首先提出了求解离散多阶段决策优化问题的动态规划法。 多阶段决策优化问题方法在许多领域得到应用和发展, 如在生产计划、资源配置、信息处理、模式识别等方面都有成功的应用。 本节介绍将动态规划优化方法应用于动态系统的最优控制问题, 构成最优控制的两种主要求解方法之一的最优控制动态规划法。 最优性原理与离散系统的动态规划法(2/3) 动态规划的核心是贝尔曼最优性原理 这个原理归结为一个基本的递推公式。求解多阶段决策问题时, 要从末端开始, 逆向递推, 直至始端。 动态规划的离散基本形式受到问题的维数的限制, 应用有一定的局限性。但对于求解决线性离散系统的二次型性能指标的最优控制问题特别有效。 至于连续系统的最优控制问题的动态规划法, 不仅是一种可供选择的有充分性的最优控制求解法,它还揭示了动态规划与变分法、极大值原理之间的关系, 具有重要的理论价值。 最优性原理与离散系统的动态规划法(3/3) 下面分别介绍 多阶段决策问题 最优性原理一般问题的问题描述 离散系统的动态规划法 多阶段决策问题(1/12) 1. 多阶段决策问题 在讨论动态规划法之前,先考察一个简单的最短时间行车问题,简称行车问题。 例 如图10所示, 某交通工具从S站出发, 终点为 F 站, 全程可分为4段。中间可能经过的各站及站间的行车时间均已标记在图上。 图10 某行车路线图 试求最短行车时间的行车路线。 多阶段决策问题(2/12) 由S站出发至终点F站可有多种不同的行车路线, 沿各种行车路线所耗费的时间不同。 为使总的行车时间最短,司机在路程的前3段要作出3次决策。 首先，一开始司机要在经过x1(1)站还是x2(1)站两种情况中作出决策。 到x1(1)站或x2(1)后, 又面临下一站是经过x1(2)站还是x2(2)站的第2次决策。 同样,在后续的每个阶段都要作出类似的决策。 多阶段决策问题(3/12) 因此,计算8种不同的行车路线所耗费的总行车时间,取最小者即可求出最短时间行车路线。 若行车问题需作决策的阶段数n较大,每次决策中可供选择的方案较多时,用上述的穷（枚）举法来解决最短行车时间问题计算量非常大。 一般说来,用穷举法计算时间与作决策的阶段数n和每次决策中可供选择的方案数成指数关系, 即通常所称的指数爆炸、维数灾难。 多阶段决策问题(4/12) 通过分析发现, 另一种求最短时间行车路线方法的是: 从最后一阶段开始,先分别算出x1(3)站和x2(3)站到终点F的最短时间（成本）,并分别记为J[x1(3)]和J[x2(3)]。 实际上, 最后一阶段没有选择的余地。 因此,由图10可求得 J[x1(3)]=4, J[x2(3)]=3 多阶段决策问题(5/12) 为便于今后求解过程的应用,可将从x1(3)站和x2(3)站到终点的最短时间J[x1(3)]和J[x2(3)]的数值标记于代表该站的小圆圈内, 如图11所示。 其他站的情况依此类推。 图11 最优行车路线图 多阶段决策问题(6/12) 由此向后倒推,继续考察倒数第2段, 计算x1(2)站和x2(2)站到终点F的最短时间, 并分别记为J[x1(2)]和J[x2(2)]。 由图10可知,从x1(2)站到达终点F的路线中下一站只能是x