z随机过程Ch5 幻灯片.pptVIP

第五章 连续时间马尔可夫链 I 马尔可夫链 5 4 3 2 1 0 1 2 3 4 5 T 5.1 连续时间马尔可夫链 定义5.1 设随机过程{X(t)，t ?0 }，状态空间I={0,1,2,?}，若对任意 0?t1 t2? tn+1及非负整数i1,i2, ?,in+1 ，有 P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,?, X(tn)=in} =P{X(tn+1)=in+1|X(tn)=in}， 则称{X(t)，t ?0 }为连续时间马尔可夫链。 转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i} 5.1 连续时间马尔可夫链 定义5.2 齐次转移概率 pij(s,t)=pij(t) (与起始时刻s无关，只与时间间隔t有关) 转移概率矩阵P(t)=(pij(t)) ，i,j?I，t ?0 命题：若?i为过程在状态转移之前停留在状态i的时间，则对s, t?0有 (1) (2) ?i 服从指数分布 证(1) 事实上 5.1 连续时间马尔可夫链 5.1 连续时间马尔可夫链 5.1 连续时间马尔可夫链 (2)设?i的分布函数为F(x), (x?0), 则生存函数G(x)=1-F(x) 由此可推出G(x)为指数函数，G(x)=e-?x, 则F(x)=1-G(x)=1-e-?x为指数分布函数。 5.1 连续时间马尔可夫链 过程在状态转移之前处于状态i的时间?i服从指数分布 (1)当?i=+?时， 状态i的停留时间?i 超过x的概率为0，则称状态i为瞬时状态； (2)当?i=0时， 状态i的停留时间?i 超过x的概率为1，则称状态i为吸收状态。 5.1 连续时间马尔可夫链 定理5.1 齐次马尔可夫过程的转移概率具有： (1) pij(t)?0; (2) (3) 证明：由概率的定义，(1)(2)显然成立，下证(3) 5.1 连续时间马尔可夫链 5.1 连续时间马尔可夫链 ★正则性条件 5.1 连续时间马尔可夫链 5.1 连续时间马尔可夫链 I 初始概率、绝对概率 i pi(0) pi(t) t t+τ T 5.1 连续时间马尔可夫链 定义5.3 (1)初始概率 (2)绝对概率 (3)初始分布 (4)绝对分布 5.1 连续时间马尔可夫链 5.1 连续时间马尔可夫链 例5.1 证明泊松过程{X(t), t?0}为连续时间齐次马尔可夫链。 证明：先证泊松过程的马尔可夫性。 泊松过程是独立增量过程，且X(0)=0，对任意0t1 t2? tn tn+1有 5.1 连续时间马尔可夫链 另一方面 即泊松过程是一个连续时间马尔可夫链。 5.1 连续时间马尔可夫链 5.2 柯尔莫哥洛夫微分方程 引理5.1 设齐次马尔可夫过程满足正则性条件，则对于任意i, j?I，pij(t)是t的一致连续函数。 定理5.3 设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在 5.2 柯尔莫哥洛夫微分方程 ★称为齐次马尔可夫过程从状态i到状态j的转移速率（跳跃强度）。 推论 对有限齐次马尔可夫过程，有 5.2 柯尔莫哥洛夫微分方程 5.2 柯尔莫哥洛夫微分方程 若连续时间齐次马尔可夫链具有有限状态 空间I={0,1,2,?,n}, 则 问题：能否可由Q求转移概率？ 5.2 柯尔莫哥洛夫微分方程 定理5.4(柯尔莫哥洛夫向后方程) 假设 ，则对一切i, j及t ?0，有 证明：由切普曼-柯尔莫哥洛夫方程有 5.2 柯尔莫哥洛夫微分方程 5.2 柯尔莫哥洛夫微分方程 向后方程的矩阵形式：P?(t)=QP(t) 向前方程的矩阵形式：P?(t)=P(t)Q 5.2 柯尔莫哥洛夫微分方程 5.2 柯尔莫哥洛夫微分方程 5.2 柯