中科院随机过程讲义4.pdfVIP

第四章 离散时间 Markov 链 4.1 定义和一些例子 在一些物理学、生物学、经济学等许多学科中，都有如下行为的系统：该系统 是与时间有关的一个系统，如果已知系统在现在的状态，则此系统的过去所处的 状态与将来所处状态是 （条件）独立的，这个特性称为Markov 性。本节我们考 虑状态空间S 为离散的，用i , i , L或i, j 表示状态，参数集T 为离散的（一般表 0 1 示时间），T {0,1,2, L 。} 定义 4.1.1 ：一个离散时间随机过程{ } X n , n ≥0 称为 Markov 链，若对任意状态序 { } 列 i , i , Li , i, j ⊂S 0 1 n−1 P (X j X i , X i , LX i , X i) P (X j X i) 。 n+1 0 0 1 1 n−1 n−1 n n+1 n 记P n ,n+1 P (X j X i) ，i, j ∈S 称为在n 时的一步转移概率 （one step ij n+1 n transition probabilities ）。固定n ，转移概率P n ,n+1 ，可以看成某个矩阵的第i 行j 列 ij 元素，把该矩阵记为P (n) ，即P (n) (P n ,n+1 ) ，它有可能是无穷维的。P (n) 称 ij i ,j ∈S 为在时刻n 的一步转移概率矩阵。一般来说转移概率P n ,n+1 依赖于时刻n ，此时 ij 称该 Markov 链是非齐次的(inhomogenous) 。但是，一个重要的情形是粒子在时 刻s 处于状态i ，在时刻s +t 处于状态j 与在初始时刻s 0 处于状态i ，在时刻t 处于状态j 这两个过程是一样的。 { } 定义 4.1.2 ：Markov 链 X n , n ≥0 称为齐次 Markov 链或称为有平稳转移概率的 Markov 链若它一步转移概率P n ,n+1 ，n ∈T i, j ∈S 不依赖于n 。 ij 对于齐次 Markov 链，由于一步转移概率P n,n+1 不依赖于n ，因此记 ij n ,n+1 ( ) Pij Pij P (X n+1 j X n i) ，此时一步转移概率矩阵为P Pij i ,j ∈S 。以下不