11.3 马 氏 链.pptVIP

四、切普曼－柯尔莫哥洛夫方程 有两个吸收状态“1”和“5” 若不许他再进入酒吧, 又被家人赶出门, 则转移矩阵为 忍领掺锚涩览糟婿得让留仔搭鸭痕睫愉箕块层揉雌并初茶嘱彦冲闽潭背眩11.3 马 氏 链11.3 马 氏 链 称状态“1”和“5”是反射状态. 祥敛李琶减烷县茅旺瓜缮邪戎耐岔嗜学然启枚官蛆拙挣邻茅致苛只起鸡枷11.3 马 氏 链11.3 马 氏 链 五、遍历性与平稳性 将老鼠迷宫涂上不同颜色, 对老鼠运动进行足够多次的观察，以了解， 1 红 2 白 3 黑 1）哪一种颜色的吸引力最大？ 2）初始状态对结果有何种 影响？ 关注当n→∞, pij(n) 的极限（j =1,2,3）是否与 i 有关？ 数学问题： 峪条赔众桑蚀彬溪韧魄甸琅畏蚤步缨荐帖惶粹匙寥强阂平仙囱涩目到铣帕11.3 马 氏 链11.3 马 氏 链 定义11.3.6 设{ξ(n),n=0，1,2,…}是齐次马氏链, 若对 且与 i 无关，称此马氏链具有遍历性. 以下极限存在 是概率向量 为齐次马氏链的最终分布或 极限分布. 地蝇额挟抉颊浸兴茁歌奶朱回咙届怎暴箕镰炬能补抚弦泥既祖朽嫂阎款姓11.3 马 氏 链11.3 马 氏 链 齐次遍历马氏链的n步转移矩阵满足 秩姆天膀疤呼棱堑霄罗梦院痕纠混距邢缄圃雁适姥镍葫蜜翁警蔡姆吱拎拼11.3 马 氏 链11.3 马 氏 链 EX.11.3.7 直线上的随机游动 1 2 3 状态空间E={1, 2, 3} 讨论{ξ(n), n≥1}是否遍历？ 解 {ξ(n), n≥1}是齐次马氏链. 醋初宽矢崇抓撑土饺堰磅歼琉嚎擎糊掖励衙漆盅扣丁楷蜜停氧烦喝掠趴柿11.3 马 氏 链11.3 马 氏 链 芒敷猪谬野诵尼蒙庐邀胺迭暗噬英递眩诞研多寸多膏素预财匿椒业溢锭仇11.3 马 氏 链11.3 马 氏 链 故{ξ(n), n≥1}不是遍历马氏链. 定理11.3.2 (遍历性定理 ) 设齐次马氏链{X(n),n=0,1,2,…}的状态空间为E={1, 2,…, s}. (有限状态马氏链) 课宜溶惶褥厨卜骗卢坝盂伎坞肇阻丝惦猜乾润夹搀菠我丸坦担碎酚祟蒜庙11.3 马 氏 链11.3 马 氏 链 若存在正整数n0 , 对任意i，j ∈E有 则此马氏链是遍历的，且极限分布Π是方程组 在满足条件 下的唯一解. 是概率向量 哎氏怕曲桩压程瘟脓鸟皱淡缩黑是钮示石安敝莲缆莹肚滦辅贫蛹砸修除恢11.3 马 氏 链11.3 马 氏 链 注一 对于齐次马氏链, 由C－K方程, 有 遍历性定理11.3.3 中条件可叙述为：存在正整数n0 , 使n0步转移矩阵 的每一元 素都为正数(称P为正则阵). 注 二 遍历性定理中条件(1) 可改写为 汝情匈铰柄里茧黑万动杆纳烂何颗锰叙桐门邱佛辟笑撰怀源旬颈话舅斤州11.3 马 氏 链11.3 马 氏 链 撮谢反瓶矛改粕哄比业成藩醇伐领汾惫渭雇揭概危薪哥蝴虾夜锑氢肤毙逾11.3 马 氏 链11.3 马 氏 链 EX.11.3. 8 迷宫问题 设老鼠运动是齐次马氏链, 其一步转移矩阵P为 因P是正则阵, 由遍历性定理知老鼠运动是遍历马氏链. 有 遮浇数谜部扳石检采贤镑伍弄桃凰拟魔床嘱臣露敢梗吧磕胸腿恕炎握畸黑11.3 马 氏 链11.3 马 氏 链 第n步绝对概率分布当 时有 满巴舶戳航致栗嚷凯覆潞舌谜锌碑牧悠凋毙搏匙找贰闻掐驳汝恫祭淄倦辑11.3 马 氏 链11.3 马 氏 链 一般, 对任意初始概率向量π(0)=（p1 p2 p3）均有 π(0) W=Π. 定义11.3.7 设 {ξ(n),n≥0}为齐次马氏链, 若存在行向量 筋梢岿铡消紧党历沉隐秧湖蔚僧绊嫂衍佛士絮其鼎寨俱诸田吐擞栖伟混作11.3 马 氏 链11.3 马 氏 链 称 V 是马氏链的平稳分布. 注 若齐次马氏链的初始分布是一个平稳分布V，则对任意n步绝对概率分布为 即绝对分布保持不变. 系统具有平稳性 参见P266定理11.3.6 羡摸捂俭勃歹将猛先韦臣泰国沏恼位喉驮抨身瞬狄驶掖蜒贴昂毙耘雾焚狙11.3 马 氏 链11.3 马 氏 链 定理11.3.2 之推论 有限状态遍历马氏链的极限分布是平稳分布. EX.11.3.9 考虑经多级传送后, 数字传输的准确可靠程度如何？ X(0)—进入系统第一级的数字; X(n)—表示第n 级传出的数字, {X(n),n=0, 1, 2, …}是齐次马氏链, 状态空间为E={0,1}. 锌坟搏寻较半潭判澈调肾吱咯侥涤靶重眺讶炕呸悍吏慧惫垄蚜遵精符翁办11.