[自然科学]4马氏链new.pptVIP

马尔可夫链及其概率分布 引言 直观上，过程（或系统）在时刻t0所处的状态为已知的条件下,过程在时刻t＞t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。 用分布函数表达此性质，设随机过程{X(t),t?T}，状态空间为?，若对于t 的任意n个值t1t2…tn,n?3,有 则称过程{X(t),t?T}具有马尔可夫性，或称 {X(t),t?T}为马尔可夫过程。 例.记从数1,2, …,N中任取一数为X0，当n?1时，记从数1,2, …,Xn-1中任取一数为Xn,问｛Xn,n=0，1，2,…｝是马氏链吗？ 证：｛Xn,n=0，1，2,…｝的状态空间?={i,1?i?N}, 2．转移概率的性质 (1) Pij?0； 若以Xn表示时刻n时Q的位置，不同的位置就是Xn的不同状态，那么｛Xn,n=0，1,2,…｝是一随机过程，状态空间就是I，而且当Xn=i,i?I为已知时,Xn+1所处的状态的概率分布只与Xn=i有关，而与Q在时刻n以前如何到达i是完全无关的，所以｛Xn,n=0，1,2,… ｝是一马氏链，且是齐次的。它的一步转移概率和一步转移概率矩阵分别为 如果把1这一点改为吸收壁，即Q一旦到达1，就永远留在点1上。此时，相应链的转移概率矩阵只须把P中第1横行改为（1，0，0，0，0）。总之，改变游动的概率规则，就可得到不同方式的游动和相应的马氏链。 例 设Xn,n=0，1，2,…是独立同分布的随机变量列,记Xn可能取值的全体为I={i,i ?1},证明{Xn}为马氏链，并求其一步转移概率。 解 对任意的n及 例4 某计算机机房的一台计算机经常出故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24小时的数据（共作97次观察），用1表示正常状态，用0表示不正常状态，所得的数据序列如下： 1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111 设Xn为第n (n=1,2,…,97)　个时段的计算机状态，可以认为它是一个齐次马氏链，状态空间I={0,1}, 96次状态转移的情况是： 0→0，8次，0→1，18次； 1→0，18次，1→1，52次。 因此，一步转移概率可用频率近似地表示为 定理：若{Xn}为齐次马氏链，则对任意正整数n,及任意的i，j，有 与m无关。 因此，马氏链的齐次性可写为 例 求带有两个反射壁的一维随机游动的两步转移概率矩阵。 例 在n级0-1传输系统中，设p=0.9，求系统二级传输后的传真率与三级传输后的误码率. 解 先求出n步转移概率矩阵P(n)=Pn。 具体做法是：求出? 1 ,?2对应的特征向量 由上式可知，当p=0.9时，系统经二级传输后的传真率 与三级传输后的误码率分别为 (2)r维分布 对任意r个时刻 0≤n1n2…nr,马氏链的r维分布 例: 设{Xn, n≥0}是具有三个状态0，1，2的齐次马氏链，一步转移概率矩阵为 于是 (1) P{X0=0,X2=1}=P{X0=0}P{X2=1|X0=0} = p0(0)p01(2) = 例:在n级0-1传输系统中，设初始分布p1(0)=P{X0=1}=?,p0(0)=P{X0=0}=1-?，又已知系统经n级传输后输出为1，问原发字符也是1的概率是多少？ 解: 根据贝叶斯公式，当已知系统经n级传输后输出为1，原发字符也是1的概率为 四、遍历性/平稳分布 对于一般的两个状态的马氏链，有 1.定义 设马尔可夫链的状态空间为E，如果对于所有的i, j?E, 转移概率pij(n) ,当n→∞时，存在不依赖于i的极限 2.遍历性的定理 定理 设齐次马氏链｛Xn,n?0｝的状态空间为E＝{1, 2,…,N}，P是它的一步转移概率矩阵，如果存在正整数m，使对任意的i, j?E，都有  Pij(m)0, i , j =1,2,…,N 则此链具有遍历性，且有极限分布?=(?1,?2,…, ?N)，它是方程组 在定理的条件下，马氏链的极限分布又是平稳分布，意即若用?作为链的初始分布，即p(0)=?，则链在任一时刻n的分布p(n)永远与?一致.因为 例1: 试说明带有两个反射壁的随机游动是遍历的，并求其平稳分布。 解: 为简便，以符号“×”代表转移概率矩阵的正元素。于是，由一步转移概率矩阵P，得