[理学]工程随机过程第三章 Markov过程.pptVIP

* * 第三章 马尔可夫过程 (Markov) Markov过程是一个具有无后效性的随机过程. 当过程在时刻tm所处的状态为已知时, 过程在大于tm的时刻t所处状态的概率特性只与过程在tm时刻所处的状态有关, 而与过程在tm时刻之前的状态无关. 无后效性: (1)参数和状态都离散 -----马氏链 (2)参数离散, 状态连续 -----马氏序列 (3)其余皆为马氏过程. ? 马尔可夫链 1 定义 {X(t), t?T }是一个s.p. (1) T={0,1,2,??????}, E={0,1,2, ??????}; 任给正整数n, m, k 和任意非负整数 jn jn-1??? j2 j1( jnm)与之相应的状态im+k, im, ijn, ???, ij2, ij1有 称{X(t), t?T }为马氏链. 常记为{X(n), n=0,1,2,??? } . 2 一步转移概率 称为马氏链在时刻m的一步转移概率. 易有： 若E={0,1, 2,?????}，则 称为马氏链在时刻m的一步转移概率矩阵。 若E={0,1, 2,???, k}，则 若pij (m)与m无关，即无论在何时刻，从状态i出发经一步到达状态j的概率都相等，记为 称此时马氏链为齐次马氏链（关于时间齐次）。 例 直线上带吸收壁的随机游动 0 0 E={0、1、2、3、4、5} 5 5 1 2 3 4 右移一格 p(0p1) 左移一格 q(q=1-p) 吸收壁 吸收壁 例 直线上带完全反射壁的随机游动 0 1 E={0、1、2、3、4、5} 5 4 1 2 3 4 右移一格 p(0p1) 左移一格 q(q=1-p) 完全反射壁 完全反射壁 例 直线上带反射壁的随机游动 0 0 E={0、1、2、3、4、5} 5 5 1 2 3 4 右移一格 p(0p1) 左移一格 q(q=1-p) 1 p(0p1) 4 q(q=1-p) q(q=1-p) p(0p1) 部分反射壁 部分反射壁 例 直线上带吸收壁的随机游动（赌徒输光问题） 0 0 E={0、1、2、3、4、5} 5 5 1 2 3 4 右移一格 p(0p1) 左移一格 q(q=1-p) 吸收壁 吸收壁 例 直线上带吸收壁的随机游动（赌徒输光问题） 0 0 E={0、1、2、3、4、5} 5 5 1 2 3 4 右移一格 p(0p1) 左移一格 q(q=1-p-r) 吸收壁 吸收壁 停在原处 r(0r1) 3 马氏链的几个结论 定理1 设{X(n)，n?0}为马氏链，则有 定理2（时间可逆性） 设{X(n)，n?0}为马氏链，则有 定理3 设{X(n)，n?0}为马氏链，?0? s ? r n，则有 即：已知现在，过去与将来独立。 4 高阶转移概率 设{X(n)，n?0}为马氏链，状态空间为E 为系统在m时刻从状态i出发，经过n步转移到状态j的概率，称为n步转移概率。 若{X(n)，n?0}为齐次马氏链，则pij(n, m)与m无关，记为pij(n)。 n步转移概率矩阵 定理 （Chapman-Kolmogorov）方程 若{X(n)，n?0}为齐次马氏链，则 初始概率分布： 马氏链在初始时刻（即零时刻）取各状态的概率分布 称为它的初始概率分布。 绝对概率分布： 马氏链在第n时刻（n ? 0）取各状态的概率分布 称为它在时刻n的绝对概率分布。 广告效益的推算： 某种啤酒A的广告改变了广告方式，经调查发现购买A种啤酒及另外三种啤酒B、C、D的顾客每两个月的平均转换率如下（设市场中只有这四种啤酒） A?A(95%) B(2%) C(2%) D(1%) B?A(30%) B(60%) C(6%) D(4%) C?A(20%) B(10%) C(70%) D(0%) D?A(20%) B(20%) C(10%) D(50%) 假设目前购买A、B、C、D四种啤酒的顾客的分布为（25%，30%，35%，10%），试求半年后A啤酒的市场份额。 ? 马尔可夫链的状态分类 1 可达与互通 ? n ? 0，s.t. pij(n) 0 ? n ? 0，均有 pij(n) = 0 定理 若i? j且 j?k，则i?k。 i? j且 j?i。 （i可达 j） （i与 j互通） 易有： （1）自反性： i?i ; （2）对称性： i? j ? j?i ; （3）传递性： i? j且 j?k，则i?k。 2 闭集