随机过程(6)--§3马尔科夫链.pptVIP

第 一 章 概 述 及 概 率 论 回 顾 */92 第三章 时间连续的马尔可夫链 则称 为连续时间离散状态的马尔可夫 §1 基本概念 设 是一族只取非负整数值的 随机变量,若对任意的 以及非负整数 有 过程,简称时间连续的马尔可夫链. 设 是时间连续的马尔可夫链，则同时间 离散的马氏链一样，对任意的 随即变量 的联合分布 设马尔可夫链　　　　　的状态空间为　　 对任意的　　　　以及任意的　　　　记　　 马尔可夫链　　　　　的有限维分布完全由其初 始分布　　　 和转移概率 确定 称　　　 为马氏链　　　　　 的转移概率函 数． 设马尔可夫链　　　　　的转移概率函数 即　　　　只与　　　　有关，而与　　无 马氏链　　　　　　为齐次马氏链． 关．则称 对齐次马尔可夫链　　　　　　将其转移概率 函数写成矩阵形式 转移概率函数． 则　　和　　　都是　的函数，称　　和　　　　　　　　　　　　　　　 为 切普曼－柯尔莫哥洛夫方程 对齐次马尔可夫链　　　　　　对任意的　 　　　　　　　　　有 对应于矩阵形式， 有 转移概率函数的性质 　　对任意的 且当　　　时，有 对任意的状态　　　　　有　　 　对任意的 　有 例1　(独立平稳增量过程) 若对任意的　　　　 　　 增量 即转移概率只与　　有关(称为空间齐次) 若转移概率 则 是独立平稳增量过程 设　　　　是只取非负整数值的随机过程， 且增量　 　　的分布只与时间间隔 　　　　　　　与　　　　　相互独立， 有关，而与　　无关，则　　　　　是齐次的马氏链. 若取其转移概率函数为 则有 且有 其他 齐次马氏链转移函数的连续性 以下的讨论均假设　　　　　是齐次的马氏链，　 满足条件 即转移概率函数　　　在　　　　点连续． 条件　　等价于对任意的　　　　有 条件　的实际含义：系统　　　　　　在 的时间内发生变化的概率很小． 很短 该定理说明：转移概率函数　　　　在　　 点的 连续性保证了　　 在每一点的连续性 　对任意的　　　及　　　　　有 特别，对任意的 转移概率函数　　在　　　上一致连续． 注：转移概率函数　　的性状在很多情况下，是由 其在　　点附近的性状所决定．所以连续时间的马氏 链重点研究转移概率函数　　在零点附近的性质 定理1 证明　由切普曼－柯尔莫哥洛夫方程有 有　 由上不等式有 证明　由切普曼－柯尔莫哥洛夫方程有 有　 由上不等式有 　对任意的　　　　　有 　　若存在　　　使得　　　　　则当　　　 时有 证明　　由切普曼－柯尔莫哥洛夫方程有 定理2 　　 　函数　　　在　　　处连续，且 由函数的保号性知，当　充分大时， 从而对任意的　　　　有 　　　设　　　　　　　　则当　　　时 注　对任意的　　　　转移概率函数　　 在　　　上，或恒为零，或恒大于０． 　　对任意的　　　存在极限 　　对任意的　　　　当　　时，存在极限 定理3 转移概率函数总结 若转移概率函数　　　在　　处连续，则 在　　　　上一致连续； 当　　　时，　　　在　　　　上 要么恒等于０，要么恒大于０； 　　　　在　　　处导数存在 当　　　时，导数可能为 马氏链的密度矩阵(无穷小矩阵) 记 ，称矩阵 为马氏链的密度矩阵或无穷小矩阵 若对所有的 ，有 则称密度矩阵Q或马氏链是保守的 即系统一旦进入状态i，就永远停留在状态i， 不再离开.称这样的状态为吸收态. (1)若 ，由 知 对一切 ，有 本质上就是转移概率函数 在 处的导数， 所以称为P(t)的无穷小矩阵 马氏链的密度矩阵的概率含义 所以 (2)若 , 对固定的 , 由 ，知