第四章 节 1-2马尔可夫链的概念及转移概率.pptVIP

无限制随机游动 解 显然 的状态空间 ,若定义随机序列 则其一步转移概率为 质点向右移动 质点向左移动 * * 信息工程学院四系三教 无限制随机游动 一步转移概率矩阵为 设在k步转移中向右移x步，向左移y步，且经过k步转移状态从i进入j，则 * * 信息工程学院四系三教 无限制随机游动 从而 由于x, y都只能取整数，所以 必须是偶数，又在k步中哪x步向右，哪y步向左是任意的，选取的方法有 种。于是 * * 信息工程学院四系三教 无限制随机游动 特别 利用此结论可判断无限制随机游动状态的常返性，见例 4.12. * * 信息工程学院四系三教 带吸收壁的随机游动 （2）带吸收壁的随机游动 若例4.1的随机游动的位置限制在 当质点移动到状态0或a后就停留在该位置 即 ，称为带吸收壁的随机游动 吸收壁 * * 信息工程学院四系三教 带反射壁的随机游动 （3）带反射壁的随机游动 若（2）中当质点移动到状态0或a后就以概率1返回到1和a－1，即 ，称为带反射壁的随机游动。 * * 信息工程学院四系三教 第四章 马尔可夫链 马尔可夫链的概念及转移概率 1 马尔可夫链的状态分类 2 3 4 * * 信息工程学院四系三教 状态空间的分解 的渐进性质与平稳分布 马尔可夫链的状态分类 因为对齐次马氏链描述的系统进行研究时通常要讨论两类问题： 瞬时分布讨论在某一时刻系统的统计特性，即求n步转移概率或时刻n的绝对概率分布。 稳态分布讨论n充分大后系统的统计特性，即转移概率的极限是否存在，若存在又与状态的关系如何等。 要解决这些问题，就需要研究状态分类。 * 信息工程学院四系三教 * 为什么要对马氏链的状态进行分类？ 马尔可夫链的状态分类 * 信息工程学院四系三教 * 分类前： 分类中： 分类后： 为什么要分类？ 依据什么分类？ 如何应用分类？ 状态的特征与性质 状态空间的分解 状态的周期 自状态1出发，再返回状态1的可能步数满足一定的规律性 * 信息工程学院四系三教 * 状态的周期 定义4.6 如果集合 非空，则称该集合的最大公约数  为状态i的周期。如d 1就称i为周期的，如 d =1就称i为非周期的。 * * 信息工程学院四系三教 但反之不成立。即若 不一定有 状态的周期 注：如果 i 的周期为 d，则对一切非零的 都有 如前例中的状态1的d (1) = 2，但 * * 信息工程学院四系三教 状态的周期 引理4.1 如 i 的周期为d，则存在正整数M对一切 ，有 * * 信息工程学院四系三教 常返的定义及其分类 例4.7 设I = {1, 2, 3, 4},转移概率如图4.4，易见状态2与状态3有相同的周期d = 2。但由状态3出发经两步必定返回到3，而状态2则不然，当2转移到3后，它再也不能返回到2。为区别这两种状态，我们引入常返性概念。 * 信息工程学院四系三教 * 常返的定义及其分类 首达时的定义 称为首达状态j的首达时。其中约定 此时  * * 信息工程学院四系三教 常返的定义及其分类 首达（首中）概率的定义 表示质点从i 出发，经n步首次到达j的概率。 表示质点从i出发，经有限步首次终于到达j的概率。 * 信息工程学院四系三教 * 常返的定义及其分类 质点从 i 出发经有限步终于到达 j 的概率 * * 信息工程学院四系三教 注：由定义4.7知，若i是非常返态，则由i出发将以正概率 永远不再返回i；若i是常返时，上述现象不会出现。 常返的定义及其分类 定义4.7 若 ，称状态 i 为常返的，若  ；称状态 i 为非常返的（滑过态）， * * 信息工程学院四系三教 常返的定义及其分类 对常返态 i，由定义知 构成一概率分布。此分布的期望值 表示由i出发再返回到i的平均返回时间。 * * 信息工程学院四系三教 常返的定义及其分类 定义4.8 对常返态i，若