随机过程(10)--§4马尔科夫链.pptVIP

综合上述讨论，有 而且在时间 之前有 名顾客在时间 计算条件概率 已知在时间t时系统正好只有一名顾客正在接受 服务，且另有两名顾客在排队等候的条件下，在 时间 时系统有两名顾客，这一事件等价于： 在时间 没有顾客来，而且被服务的顾 客在时间 之前服务完毕。 在时间 内有 名顾客到达系统， 之前服务完毕 。 在时间 没有顾客来，而且被服务的顾 客在时间 之前服务完毕。 而 所以由(i)和(ii)有 因为在时间 内多于一名顾客被服务完毕 的概率为 而且在时间 之前有 名顾客在时间 在时间 内有 名顾客到达系统， 之前服务完毕 。 所以有 所以马氏链 的Q矩阵为 初始条件为 由此得到 其中 由福克—普朗克方程有 例5 机器维修问题 设某机器的正常工作时间是一负指数分布的随 机变量，平均服务时间是 复时间也是一负指数分布的随机变量，它的平 均修复时间是 的，问在t =10 时该机器正常工作的概率是多少？ ；它损坏后的修 .该机器在t = 0时是正常工作 即条件概率 先计算机器从正常工作变为损坏的概率 设 表示机器正常工作的时间， 表示机器修理的时间。 则 是一马氏链，其状态空间为 状态0表示该机器正常工作， 状态1表示该机器损坏在修理 解 设该机器在时间t时的状态为 时间 t 1 T1 所以有 事件 等价于事件 事件 等价于事件 所以有 事件 等价于事件 事件 等价于事件 计算机器从修理状态变为正常工作状态的概率 第 四 章 连续时间的马尔科夫链 */50 §6柯尔莫哥洛夫前进方程和 后退方程 假设和符号 马尔可夫过程,状态空间为S, 转移概率函数为 其密度矩阵 矩阵 满足条件: 是一时间连续﹑状态离散的齐次 设 柯尔莫哥洛夫方程 定理1 对任意的状态 i , j 及时间 t 有 柯尔莫哥洛夫后退方程 其矩阵形式为 其中 证明 由切普曼-柯尔莫哥洛夫方程，对任意的 有 所以有 由导数的定义有 定理2 对任意的状态i,　j及时间t有 柯尔莫哥洛夫前进方程 其矩阵形式为 由导数的定义有 所以有 证明 由切普曼-柯尔莫哥洛夫方程，对任意的 有 柯尔莫哥洛夫方程的作用 前进方程和后退方程提供了由密度矩阵Q求转移 概率函数的一途径：解微分方程组 微分方程组解存在的问题： 存在性； 唯一性 通常，在求解方程组，前进方程一般更适用一些。 福克—普朗克方程 设马氏链 在时间 时的分布率为 记 则有 有限状态马氏链的转移概率函数 例1 设马氏链 的状态空间为有限的 ，其状态空间为 其密度矩阵为 试求其转移概率函数 有 及初始条件 解 由柯尔莫哥洛夫前进方程 例2 设马氏链 的密度矩阵为 试求其转移概率函数 解 密度函数Q的特征值为 所以Q可对角化 取 则有 其中 所以转移概率函数为 例3 设马氏链 密度矩阵为 的状态空间为 试求其转移概率函数 解 由柯尔莫哥洛夫前进方程 有 所以 由初始条件 有 所以转移概率函数矩阵为 例4 排队问题 设有一服务台，记 为在时间 内到达服务台的顾客数， 是一参数为 的Poisson过程.假设服务台只有一个服务员，对顾客的服务时间是服从指数分布的随机变量，平均服务时间为 .若顾客到达时服务员空闲，则立即对其进行服务；若顾客到达时服务员正在为其他顾客服务，则该顾客必须排队等待；若一位顾客到达时，发现该系统已有两人在等待，则此顾客就离开不再回来. 记 为在时间 t 时系统内的顾客人数(包括正在接受服务的顾客和排队的顾客)，假设在时间 t=0 时，系统内没有顾客.试求时间 t 时，系统内有j 个顾客的概率 所满足的微分方程. 由此得到系