第五章 节 2柯尔莫哥洛夫微分方程.pptVIP

信息工程学院四系三教 信息工程学院四系三教 信息工程学院四系三教 第五章 连续时间的马尔可夫链 连续时间马氏链的的定义及性质 1 柯尔莫哥洛夫微分方程 2 3 * * 信息工程学院四系三教 生灭过程 知识回顾 设参数集 状态集 定义5.1 称随机过程 为连续时间的马尔可夫链，若对任意 及任意 有 —马氏性 连续时间离散化 * * 信息工程学院四系三教 知识回顾 定义5.2 若（5.2）式的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为 — 齐次性 其转移概率矩阵简记为 * * 信息工程学院四系三教 知识回顾 定理5.1 齐次马尔可夫过程的转移概率具有下列性质： 切普曼-柯尔莫哥洛夫方程的矩阵表示 连续时间的C-K方程 * * 信息工程学院四系三教 转移概率函数矩阵 已知对于简单函数方程 的通解为 ，且解由 确定 转移概率函数矩阵满足 可以猜测 * 信息工程学院四系三教 * 转移概率的极限性质 定理5.3 设 是齐次马尔可夫过程的转移概率，则下列极限存在 称qij为齐次马尔可夫过程从状态i 到状态j 的转移速率或跳跃强度。 * * 信息工程学院四系三教 转移概率的极限性质 注： (1) 等价于 (2) 等价于 注：此定理的详细证明要用到较深的数学知识，在这里我们不给出详细证明，只是做一个简单分析，但此定理的结论很重要，希望大家掌握！ * * 信息工程学院四系三教 转移概率的极限性质 分析：第一节已定义 为停留在状态i（或离开状态i ）的时间，它服从参数为 的指数分布。 =P{到时刻t至少有一次跳转 * * 信息工程学院四系三教 到时刻t至少有两次跳转 转移概率的极限性质 =P{ 第一个到达的状态是 j， + P{第一个到达的状态不是 j， * * 信息工程学院四系三教 转移概率的极限性质 其中 pij 表示从状态i经一步转移到状态j的概率（不考虑其间的停留时间），它和离散时间下的转移概率类似。 * * 信息工程学院四系三教 转移概率的极限性质 推论: 对有限齐次马尔可夫过程，有 证明：由定理5.1，有 由于求和是在有限集中进行，故有 * * 信息工程学院四系三教 转移概率的极限性质 注：对于状态空间无限的齐次马尔可夫过程，一般只有 * * 信息工程学院四系三教 二、密度矩阵的定义 定义：称矩阵 为转移概率矩阵 的密度矩阵。 * * 信息工程学院四系三教 二、密度矩阵的定义 若 则称矩阵Q是保守的， 若　　　　　　　则称矩阵Q是稳定的， 此时称过程 为Q过程 。 * * 信息工程学院四系三教 二、密度矩阵的定义 注： （1）对于有限状态齐次马氏链，其密度矩阵一定是保守的。 （2）若Q保守，则Q矩阵的每一行元素之  和为零，对角线元素为负或为零，其余 * * 信息工程学院四系三教 三、柯尔莫哥洛夫向后、向前方程 定理5.4 （柯尔莫哥洛夫向后方程） 假设 则对一切i, j 及 , 有 矩阵形式： * * 信息工程学院四系三教 三、柯尔莫哥洛夫向后、向前方程 定理5.5 （柯尔莫哥洛夫向前方程） 设对给定的 ，有 且 关于 一致成立，则 矩阵形式： * * 信息工程学院四系三教 三、柯尔莫哥洛夫向后、向前方程 分析：对时刻h的状态X(h) 取条件，在下面的极限和求和可交换顺序的条件下，由切普曼—柯尔莫哥洛夫方程有 * * 信息工程学院四系三教 三、柯尔莫哥洛夫向后、向前方程 ——得到柯尔莫哥洛夫向