No.12-第5章-马尔可夫预测的基本原理.ppt

主要内容：马尔可夫预测的基本原理

马尔可夫预测的应用;5.1马尔科夫预测的基本原理知识点1：马尔可夫链;背景案例;马尔可夫（）是俄国数学家。二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。具有这种特性的随机过程称为马尔可夫过程。;一、马尔可夫链;设有一离散型随机过程，它在时刻所有可能处于的状态的集合为;在荷花池中有N张荷叶，编号为1，2，……，N。假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动可看作一随机过程。在时刻t，青蛙所在的那张荷叶，称为青蛙所处的状态。那么，青蛙在未来处于什么状态，只与它现在所处状态有关，与它以前在哪张荷叶上无关。此过程就是一个马尔可夫链。;当系统由一种状态变为另一种状态时，我们称之为状态转移。;再引入几个概念：;初始状态概率向量;定义6k步状态转移概率，k步状态转移概率矩阵;【案例6-1】

Centerville小镇的天气每天都在变化。如果今天是晴天，则明天出现晴天的可能性就比今天是雨天明天出现晴天的可能性大。如果今天是晴天，则明天也是晴天的概率为0.8。而今天是雨天，则明天是晴天的概率为0.6。即使考虑了今天之前所有各天的气象情况，这个概率值也不会发生改变。

Centerville小镇的天气变化可看作一个随机过程{Xt}。从某天开始（这一天被记为第0天），连续记录随后每一天（第t天）的气象状况，t=0,1,2,…,第t天系统的状态可能为1(代表第t天为晴天)，也可能为2(代表第t天为雨天)。因此，对于，t=0,1,2,…，随机变量Xt可表示为：;因此，随机过程{Xt}={X0,X1,X2,…}是一种描述Centerville小镇气象状况随时间变化的数学表达式。;又，由于第二天的天气情况不受今天之前天气情况的影响，因此，该随机过程具有马尔可夫属性，该过程为马尔可夫链。;以一个月为单位，经观察统计，知其从某个月份到下月份，机床出现故障的概率为0.3。在这一段时间内，故障机床经维修恢复到正常状态的概率为0.9。;两步状态转移概率：;一般地，两步转移概率可以由一步转移概率得到：;（全概率公式???;回到例5.1.如已知初始概率向量，比如;;;如已知齐次马尔可夫链的转移矩阵以及初始状态概率向量，则任一时刻的状态概率分布也就确定了。;马尔科夫链：离散的、状态有限、状态仅与上期有关的随机过程。;k步状态转移概率，k步状态转移概率矩阵;初始状态概率向量;案例;3天，4天或5天后的气象状态转移概率可通过计算3步、4步和5步转移矩阵得到。;注意：在5步转移矩阵中有一个十分有趣的现象，即该矩阵两行的值完全一样，这表明5天之后的气象状态的概率与5天前的气象状态无关。因此，这个5步转移矩阵中每行的概率被称为该马尔可夫链的平稳概率。;知识点3：稳态概率矩阵;问题：当不断增大时，的变化趋势？;1.平稳分布;;2.稳态分布;则称为稳态分布。;令，得;;，仅当且时。又，由定义可知

是不可约的。;;【小结】