马尔科夫链例题整理.ppt

定理4.3 马尔科夫链的有限维分布： 练习：马氏链的状态空间I={1，2，3}，初始概率为 例1 其一步转移矩阵为 试研究各状态间的关系，并画出状态传递图。 解 先按一步转移概率，画出各状态间的传递图 首页 眩杂俐甘燃觉踞必谈它硒勿乒袋孺考忠眯浩穷叠师求逃筷田犁乎酣庄痈畜马尔科夫链例题整理马尔科夫链例题整理 2/3 1/4 1/4 1/3 1/2 1/2 0 1 2 1/2 图3---1 由图可知 状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。 因此，状态空间I的各状态都是互通的。 又由于I 的任意状态i (i = 0，1，2)不能到达I 以外的任何状态， 所以I是一个闭集 而且I 中没有其它闭集 所以此马氏链是不可约的。 首页 渊诊赣季黍谚衡亨浦秋庇掖鹤钩狼挣蛾断镇斤屡墩孕勺薪染数颐告擒棘痈马尔科夫链例题整理马尔科夫链例题整理 例2 其一步转移矩阵为 试讨论哪些状态是吸收态、闭集及不可约链。 解 先按一步转移概率，画出各状态间的传递图 首页 狰俏砰歪圭据揪荤者楷雄共贞怀烩爬闽叁辕饱气馋鹊尊嘛溯烷戮饲歧谜坑马尔科夫链例题整理马尔科夫链例题整理 1 1 1/2 1/2 1/2 3 1 1/2 图4---2 4 5 2 1 闭集， 由图可知 状态3为吸收态 且 闭集， 闭集， 其中 是不可约的。 又因状态空间I有闭子集， 故此链为非不可约链。 首页 福堤思殃闪乞评其吓吞棒清陆佳然掐乓素灿赴蚌捌坟温扬蜘续趴燎芭捉妨马尔科夫链例题整理马尔科夫链例题整理 3．常返态与瞬时态 则称状态i为常返态 则称状态i为瞬时态 注 “常返”一词，有时又称“返回”、“常驻”或“持久” “瞬时”也称“滑过” 或“非常返” 定理4 定理5 定理6 如果i为常返态，且 ，则j也是常返态。 定理7 所有常返态构成一个闭集 献剑甥筛分漏映膨批书纪汾琢哆彭丰瓦熔哄腆蜂愿率炼迎眩汕苯夸被淆堂马尔科夫链例题整理马尔科夫链例题整理 5．正常返态与零常返态 平均返回时间 从状态i出发，首次返回状态i的平均时间 称为状态i平均返回时间. 根据的值是有限或无限，可把常返态分为两类： 设i是常返态， 则称i为正常返态； 则称i为零常返态。 首页 块敬砌软弘琴气翟曾锨织笨煽赣巳炒仔意撤墅模像焉屯窍掘附糠停歉栓达马尔科夫链例题整理马尔科夫链例题整理 例 其一步转移矩阵如下，是对I进行分解。 I可分解为：C1={2，3, 4} C2={5，6,7} 两个闭集及N={1} ，即I=N+ C1+ C2 堂趣采锣豁愈静贸晴殖驳搬弟枝是菏赠短砚蜡贬桥浪以拍戍戴舷决由缕膀马尔科夫链例题整理马尔科夫链例题整理 用极限判断状态类型的准则 （2）i是零常返态 （3）i是正常返态 （1）i是瞬时态 且 且 首页 潘鄙堡决届睹哨横稳呕卫箭掇橱宵溯输邀郎南版强稳溢纱胜益创郸好账茨马尔科夫链例题整理马尔科夫链例题整理 例3 转移矩阵 试对其状态分类。 解 按一步转移概率， 画出各状态间的传递图 2 1/4 1 1 1/4 1/4 1 1/4 1 4 3 首页 囱琐尉焕预虎威哥侠回驾硒容辛懂耪纱阜铁捉岳碉漏庐蜒勤兑惩丸画鸣惰马尔科夫链例题整理马尔科夫链例题整理 从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。 考虑状态1是否常返， 于是状态1是常返的。 又因为 所以状态1是正常返的。 此链所有状态都是正常返的。 2 1/4 1 1 1/4 1/4 1 1/4 1 4 3 娩坑宵帮菌墅镍卵丰棉迄揩垫名蜀妖放炬跳掘面捍耀猪魂朱列吩胶昆忙废马尔科夫链例题整理马尔科夫链例题整理 三、状态的周期与遍历 1．周期状态 对于任意的 ，令 其中GCD表示最大公约数 则称 为周期态， 则称 为非周期态。 定理11 2．遍历状态 若状态i是正常返且非周期，则称i为遍历状态。 1 1 1/2 1/2 1/2 3 1 1/2 图4---2 4 5 2 1 瘁犀擎懈杰讹吮孩吾鼠预培缝朗慕渴歧潮金拐走庙搅爷芭魂拷迁但蚤铰停马尔科夫链例题整理马尔科夫链例题整理 例4 设马氏链的状态空间I = {0,1,2,…}，转移概率为 试讨论各状态的遍历性。 解 根据转移概率作出状态传递图 … 1/2 1/2 1/2 1/2 1/2 1/2 0 1 2 1/2 图4---4 3 1/2 首页 逛圾敞锁芦映其金展镰摆备丁暗运观咨芹缠缠肆己榔派熄学肇佰胜唯餐阿马尔科夫链例题整理马尔科夫链例题整理 从图可知，对任一状态 都有 ， 故由定理可知，I 中的所以状态都是相通的， 因此只