随机过程与排队论09资料.ppt

* 计算机科学与工程学院　顾小丰 30－* 例3 设齐次马氏链的状态空间E＝{0,1,2,…}，转移概率为 状态转移图 转移矩阵 0 1 2 3 … * 计算机科学与工程学院　顾小丰 30－* 例3(续) 对状态0 故状态0为非周期、正常返、遍历状态。又因pi0= ，i?E ＝{0,1,2,…}，从而状态i（i=0,1,2,…）与状态0互通，故状态i=1,2,3,…与状态0有相同的状态性质，都是非周期、正常返、遍历状态。因此该马氏链为不可约遍历的齐次马氏链。所有状态均为非周期、正常返、遍历状态。 * 计算机科学与工程学院　顾小丰 30－* 例4 设齐次马氏链的状态空间E＝{1,2,3,4,5,6}， 状态转移图 1 6 5 4 1 转移矩阵 2 3 1 1 1 * 计算机科学与工程学院　顾小丰 30－* 例4(续1) 故状态1为正常返状态，且周期为3. 因为f11(3)＝1，f11(n)＝0（n?3)， 1?3?5，从而状态3和5与状态1有相同的状态性质，由此可知，C1={1,3,5}是周期为3的正常返闭集。 ，(n?3) * 计算机科学与工程学院　顾小丰 30－* 例4(续2) 故状态2为正常返状态。 该齐次马氏链的状态空间分解为 E＝N＋C1＋C2 其中N＝{4}为非常返集；C1＝{1,3,5}为周期为3的正常返闭集；C2＝{2,6}为非周期、正常返遍历的闭集。 f66(1)0，故状态6为非周期状态。 2?6，从而状态2与状态6有相同的状态性质，它们都是非周期、正常返、遍历状态，故C2={2,6}是非周期、正常返、遍历闭集。 故状态4为非常返状态。由于f44(1)0，故状态4为非周期状态。N={4}为非周期非常返集。 * 计算机科学与工程学院　顾小丰 30－* 本讲主要内容 齐次马氏链状态的分类 互通 首达 常返与非常返 正常返与零常返 状态空间分解 不可约马氏链 状态的周期性 * 计算机科学与工程学院　顾小丰 30－* 下一讲内容预告 连续参数马尔可夫链 转移概率函数、转移矩阵 连续参数齐次马氏链 初始分布、绝对分布、遍历性、平稳分布 转移概率函数的性质 状态转移速度矩阵 生灭过程 * 计算机科学与工程学院　顾小丰 30－* P155 23. 习　题　四 * * * * 计算机科学与工程学院　顾小丰 计算机科学与工程学院　顾小丰 计算机科学与工程学院　顾小丰 计算机科学与工程学院　顾小丰 计算机科学与工程学院　顾小丰 计算机科学与工程学院　顾小丰 计算机科学与工程学院　顾小丰 计算机科学与工程学院　顾小丰 随机过程与排队论 计算机科学与工程学院 顾小丰 Email：guxf@uestc.edu.cn * * 计算机科学与工程学院　顾小丰 30－* 上一讲内容回顾 离散参数马氏链 齐次马氏链的性质链 初始分布、绝对分布、极限分布 遍历性 平稳性 * 计算机科学与工程学院　顾小丰 30－* 本讲主要内容 齐次马氏链状态的分类 互通 首达 常返与非常返 正常返与零常返 状态空间分解 不可约马氏链 状态的周期性 * 计算机科学与工程学院　顾小丰 30－* §3.3 齐次马氏链状态的分类 一、互通 首达 如果存在某一个n≥1，使得pij(n)＞0，i,j?E，则称从状态i可到达状态j，记为i→j；否则称状态i不能到达状态j，记为i→j，此时对一切n，均有pij(n)＝0。 如果i→j且j→i，则称状态i和j互通，或称相通，记为i?j。 容易证明，互通关系具有以下三个性质： (1)自反性：i?i； (2)对称性：若i?j则j?i； (3)传递性：若i?j且j?k，则i?k。 * 计算机科学与工程学院　顾小丰 30－* 首达 　　从状态i出发经过n步首次到达状态j的时刻 Tij＝min{n：X(m)=i,X(m+n)=j,n?N} 称为首达时刻。 　　首达时刻是一个随机变量，它的取值是从状 态i出发，使得X(n)＝j的最小正整数n。 　　自状态i出发经过n步首次到达状态j的概率 fij(n)＝P{Tij=n|X(m)=i} ＝P{X(m+n)=j,X(m+k)?j,1?kn|X(m)=i} 称为首达概率。 自状态i出发迟早(最终)到达状态j的概率定义为 * 计算机科学与工程学院　顾小丰 30－* 返回 当j＝i时 Tii：表示从状态i出发首次返回i的时刻； fii(n)：表示从状态i出发经过n步首次返回i 的概率； fii：表示从状态i出发迟早返回i的概率。 称为自状态i出发首次到达j的平均时间(平均步数)； 称为自状态i出发首次到达i的平均返回时间(平均返回步数)； * 计算机科学与工程学院　顾小丰 30－* 定理1 对任意i,