第九章 概率论及马氏链模型.pptVIP

第九章概率论及马氏链模型第1页，共25页，星期日，2025年，2月5日马氏链模型系统在每个时期所处的状态是随机的从一时期到下时期的状态按一定概率转移下时期状态只取决于本时期状态和转移概率已知现在，将来与过去无关（无后效性）描述一类重要的随机动态系统（过程）的模型马氏链(MarkovChain)——时间、状态均为离散的随机转移过程第2页，共25页，星期日，2025年，2月5日通过有实际背景的例子介绍马氏链的基本概念和性质例1.人的健康状况分为健康和疾病两种状态，设对特定年龄段的人，今年健康、明年保持健康状态的概率为0.8,而今年患病、明年转为健康状态的概率为0.7，9.1健康与疾病人的健康状态随着时间的推移会随机地发生转变保险公司要对投保人未来的健康状态作出估计,以制订保险金和理赔金的数额若某人投保时健康,问10年后他仍处于健康状态的概率第3页，共25页，星期日，2025年，2月5日Xn+1只取决于Xn和pij,与Xn-1,…无关状态与状态转移状态转移具有无后效性120.80.20.30.7第4页，共25页，星期日，2025年，2月5日n0a2(n)0a1(n)1设投保时健康给定a(0),预测a(n),n=1,2…设投保时疾病a2(n)1a1(n)0n??时状态概率趋于稳定值，稳定值与初始状态无关3…0.778…0.222…∞7/92/90.70.770.777…0.30.330.333…7/92/9状态与状态转移120.80.20.30.710.80.220.780.22第5页，共25页，星期日，2025年，2月5日1230.10.0210.80.250.180.65例2.健康和疾病状态同上，Xn=1~健康,Xn=2~疾病p11=0.8,p12=0.18,p13=0.02死亡为第3种状态，记Xn=3健康与疾病p21=0.65,p22=0.25,p23=0.1p31=0,p32=0,p33=1第6页，共25页，星期日，2025年，2月5日n0123?a2(n)00.180.1890.1835?a3(n)00.020.0540.0880?a1(n)10.80.7570.7285?设投保时处于健康状态，预测a(n),n=1,2…不论初始状态如何，最终都要转到状态3；一旦a1(k)=a2(k)=0,a3(k)=1,则对于nk,a1(n)=0，a2(n)=0,a3(n)=1,即从状态3不会转移到其它状态。状态与状态转移001?50?0.1293?0.0326?0.8381?第7页，共25页，星期日，2025年，2月5日马氏链的基本方程基本方程第8页，共25页，星期日，2025年，2月5日马氏链的两个重要类型1.正则链~从任一状态出发经有限次转移能以正概率到达另外任一状态（如例1）。w~稳态概率第9页，共25页，星期日，2025年，2月5日马氏链的两个重要类型2.吸收链~存在吸收状态（一旦到达就不会离开的状态i,pii=1）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态（如例2）。有r个吸收状态的吸收链的转移概率阵标准形式R有非零元素yi~从第i个非吸收状态出发，被某个吸收状态吸收前的平均转移次数。第10页，共25页，星期日，2025年，2月5日9.2钢琴销售的存贮策略钢琴销售量很小，商店的库存量不大以免积压资金一家商店根据经验估计，平均每周的钢琴需求为1架存贮策略：每周末检查库存量，仅当库存量为零时，才订购3架供下周销售；否则，不订购。估计在这种策略下失去销售机会的可能性有多大，以及每周的平均销售量是多少。背景与问题第11页，共25页，星期