[2018年必威体育精装版整理]13 马尔可夫链.pptVIP

第13章马尔可夫链 教材：盛骤等《概率论与数理统计》(第四版) 制作、讲授：安师大 朱仁贵（rgzhu@mail.ahnu.edu.cn） * * 目录 13.1 马尔可夫过程及其概率分布 13.2 多步转移概率的确定 13.3 遍历性 13.1 马尔可夫过程及其概率分布 马尔可夫性(或无后效性)的概念 过程在时刻 所处的状态为已知的条件下，在 时刻所处的状态的条件分布与过程在 时刻之前所处的状态无关。 即“将来”什么样，与“过去”无关，只与“现在”有关。 对随机过程 ，马尔可夫性用概率论语言描述为 即 在已知 的条件下, 与 是相互独立的随机变量。 具有马尔可夫性的随机过程叫做马尔可夫过程，简称马氏过程。 13.1 马尔可夫过程及其概率分布 马尔科夫过程的概念 13.1 马尔可夫过程及其概率分布 泊松过程和维纳过程的马尔可夫性 是独立增量过程，且 即马尔可夫性 与 是相互独立的随机变量。 证明见课本 泊松过程是时间连续、状态离散的马氏过程 维纳过程是时间连续、状态也连续的马氏过程 13.1 马尔可夫过程及其概率分布 时间集(参数集)为 约定状态空间记为 时间和状态都是离散的马尔可夫过程称为马尔可夫链，简称马氏链。记为 马尔可夫链的概念 为马氏链在时刻m处于状态 的条件下，在时刻m+n转移到状态 的概率，称转移概率。 (注意：转移概率是条件概率) 转移概率 和 马氏链的马尔可夫性表示为：对任意的正整数 , ，有 13.1 马尔可夫过程及其概率分布 由转移概率组成的矩阵： 称为马氏链的转移矩阵。 此矩阵的每一行的矩阵元之和等于1： 解释为：从m时刻的 状态出发，转移到m+n时刻的状态 ， 必然是状态空间中的某一状态，且状态空间中的任一状态都有可能成为 转移概率矩阵 13.1 马尔可夫过程及其概率分布 当转移概率 只与i,j和n有关时，简记为 这时，称此转移概率具有平稳性，并称此马氏链为齐次的或时齐的。 齐次马氏链的概念 在马氏链为齐次的情况下，转移概率： 称为n步转移概率。 称为n步转移概率矩阵。 n 步转移概率 13.1 马尔可夫过程及其概率分布 一步转移概率矩阵 矩阵元 概率矩阵 的状态 的状态 记成 13.1 马尔可夫过程及其概率分布 (0-1)传输系统 只传输数字0,1的串联系统 每一级的传真率为p,误码率为q=1－p. 是一个随机过程， 分析： ，状态空间为 参数集(时间集)为 的状态分布只与 的状态有关，而与 时刻n以前的状态无关。 故具有马尔可夫性，该过程是马氏过程。 时间参数和状态都是离散的，故该马氏过程是马氏链。 每一级传真率都一样，可认为是相同的子系统，故整个系统具有平稳性，故该马氏链是齐次马氏链。 (传真率指输出与输入相同的概率，是条件概率。) 13.1 马尔可夫过程及其概率分布 一步转移概率： 一步转移概率矩阵 i\j (0-1)传输系统 只传输数字0,1的串联系统 每一级的传真率为p,误码率为q=1－p. (传真率指输出与输入相同的概率，是条件概率。) 13.1 马尔可夫过程及其概率分布 两反射壁的一维随机游动 Q 醉汉Q每秒钟做一次游动。当处于格点i(i=2,3,4)时，各以1/3的概率向前或向后移动一格，或停留原处。当碰到墙壁时，只能反向移动一格。 游动规则 参数集(时间集)： 状态空间： 第n秒的位置记为 是随机过程 若已知第n时刻 ， 则 所处状态的概率分布只与 有关。 根据规则 是马氏过程，且为马氏链。 设Q在 第m秒处于状态i，在给定规则下，经过n秒后的状态分布与m无关，只与n和i有关。故具有平稳性，是齐次马氏链。 13.1 马尔可夫过程及其概率分布 两反射壁的一维随机游动 Q 醉汉Q每秒钟做一次游动。当处于格点i(i=2,3,4)时，各以1/3的概率向前或向后移动一格，或停留原处。当碰到墙壁时，只能反向移动一格。 游动规则 一步转移概率 一步转移概率矩阵 Q 一步转移概率矩阵 1 0 13.1 马尔可夫过程及其概率分布 Q 一步转移概率矩阵 排队规则 13.1 马尔可夫过程及其概率分布 排队模型 服务系统最多可容纳3名顾客(一名接受服务，另两名等待