随机过程第五章1（2011年秋季）已读.pdfVIP

第五章 连续时间的马尔可夫链 信息工程学院四系二教 刘文芬 第五章 连续时间的马尔可夫链 1 连续时间马氏链的的定义及性质 2 柯尔莫哥洛夫微分方程 3 生灭过程 2011-10-25 信息工程学院四系三教 2 知识回顾 定义4.1 称定义在概率空间(,F,P )上的随 机变量序列 X ,X ,X , 为马尔可夫链， 0 1 2 简称马氏链，如果它满足下列两条件： X n   (I) { n , 0,1, }的状态空间I是可数集; , , , (II) 对任意自然数n及i0 i1  in1 I P{X i | X i , X i ,, X i } n1 n1 0 0 1 1 n n P{Xn1 in1 | Xn in }, (4.1) 参数集 T {0,1,2,} 2011-10-25 信息工程学院四系三教 3 引言 前一章研究的是一类最简单的马尔可夫过 程—马尔可夫链。它适合于描述这样的具 有马氏性的随机体系：仅在离散时刻改变 其状态，而且状态数至多是可列的。 但在实际应用中，经常会遇到这样的随机 体系，它可以在任一时刻改变状态，这就 需要研究更一般的马尔可夫过程。 2011-10-25 信息工程学院四系三教 4 §5.1 连续时间的马尔可夫链 设参数集T [0,), 状态集 I {0,1,2, } 定义5.1 称随机过程 {X(t),t 0} 为连续时间 的马尔可夫链，若对任意 0 t1 t2 tn1 及任意 i ,i ,,i I , 有 1 2 n1 连续时间离散化 P X t i X t i ,X t i ,,X t i           n1 n1 1 1 2 2 n n P X t i X t i , (5.1)       —马氏性 n1 n1 n n 注意同离散时间马氏性的比较 2011-10-25 信息工程学院四系三教 5 §5.1 连续时间的马尔可夫链 记（5.1 ）式条件概率的一般形式为 P X s t j X s i