第五章 马尔可夫过程-2.pptVIP

* * 5 马尔可夫过程 马尔可夫过程的概念 离散参数马尔可夫链 连续参数马尔可夫链 生灭过程及应用 5 马尔可夫过程 有限维概率分布(簇) 转移概率 绝对概率 极限分布 平稳分布 √ 状态空间的性质 5.2.4 马尔可夫链的状态分类 一些基本状态类型、概率性质及其关系 状态空间的分解 极限特性与平稳分布 5.2.4 马尔可夫链的状态分类_状态的基本属性 一、可达与相通 可达的定义：对给定的两个状态i和j,若存在正整数n≥1,使得pij(n)﹥0,则称从状态i 可到达状态j，记为i→j；否则，称从状态i不可到达状态j，记为i→j。 若从状态i不可到达状态j时，一个齐次马尔可夫链对于一切n (≥1), 总有pij(n)=0。 概率p 概率q i=1 2 3 4 5 两个吸收壁1,5 5.2.4 马尔可夫链的状态分类_状态的基本属性 一、可达与相通 相通的定义：给定的两个状态i和j，如果从状态i可到达状态j，即i→j；而且从状态j也可到达状态i ，即j → i ，则称状态i与状态j 相通，记为i←→j。 定理：可达和相通都具有传递性。即若 i→k， k→j，则i→j； 若i←→k， k←→j，则i←→j。 [证] 若i→k， k→j，则由定义存在m≥1和n≥1，使pik(m)﹥0, pkj(n)﹥0, 根据切普曼－柯尔莫哥洛夫方程， 状态可达的传递性 → 状态相通的传递性 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 状态到达时间定义：对于任意的i, j∈E，从状态i出发，到达状态j的步长。 首达时间定义：对于任意的i, j∈E， m时刻从状态i出发，经过n步首次到达状态j的时间， 称为从状态i到达状态j的首达时间。 即从状态i出发，到达状态j的最小步长n。首达时间是一随机变量，取值于集合{1, 2,…, ∞}。Tij=∞, i→j Tii表示从状态i出发首次回到状态i的时间。 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 首达概率定义：对于任意的i, j∈E， m时刻从状态i出发，经过n步首次到达状态j的概率， 称为首达概率。显然， fii(n)表示从状态i出发经过n步首次回到状态i的概率。 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 迟早到达概率定义：对于任意的i, j∈E，m时刻从状态i出发，迟早到达状态j的概率定义为 显然， 表示系统在从状态i出发，经过有限步转移后不可能到达状态j的概率。 fii表示从状态i出发迟早回到状态i的概率: 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 平均转移时间定义： 定义条件数学期望 为从状态i出发，首次到达状态j的平均转移时间或平均转移步数。 当i =j 时， 称为从状态i出发，首次返回状态i的平均返回时间或平均返回步数。 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 基本性质： （1）对于任意的i, j∈E， （2）定理：对于任意的i, j∈E及n， 该式表明，从状态i出发经过时间n后到达状态j的概率, 等于所有从状态i出发经过一段时间m(n)首次到达状态j后，再经过一段时间n-m又返回到状态j的概率之和。 [证] 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 基本性质： （3）定理：对于任意的i, j∈E， [证] 充分性：若i→j ，根据定义则存在正整数n≥1,使得pij(n)﹥0。由上定理， 从而fij(1), fij(2), …, fij(n) 中至少有一个大于0，所以 5.2.4 马尔可夫链的状态分类_状态的基本属性 二、到达时间和到达概率 基本性质： （3）定理：对于任意的i, j∈E， [证] 必要性：若fij0，因