第7章 马尔可夫过程及泊松过程.docVIP

马尔可夫过程与泊松过程　 7.1　马尔可夫过程 1．引例 　例1：随机游动问题。 　　　质点在一直线上作随机游动，如果某一时刻质点位于点，则下一步质点以概率向左移动一格达到点，以概率向右移动一格达到点。用表示时刻质点的位置，则是一随机过程。在时刻质点所处的位置只与时刻质点的位置有关，而与以前的位置…、无关。 　例2：遗传病问题。 　　　某些疾病常遗传给下一代，但不隔代遗传。第代是否有此种疾病只与第代是否有此疾病有关，而与代以前的健康状况无关。 2．马尔可夫过程描述性概念 一般而言，若随机过程在时刻所处的状态为已知的条件下，过程在时刻（）所处的状态只与过程在时刻的状态有关，而与以前的状态无关，则称此过程为马尔可夫过程。 3．马尔可夫过程分类 　马尔可夫过程分为四类： 离散马尔可夫链： 时间取离散值，，可直接记为。 　　　状态取离散值，，可直接记为。 （2）　连续马尔可夫链： 时间取离散值，，状态取连续值。 离散马尔可夫过程： 　　　　时间取连续值，状态取离散值。 连续马尔可夫过程： 　　　时间取连续值，状态取连续值。. 4．马尔可夫过程的研究与应用概况 　　在随机过程的研究领域，马尔可夫过程是主要的研究对象，有关的专著、专题无计其数，其原因是马尔可夫过程与众多的应用领域有关联。 5．马尔可夫链 （1）定义 　　设时间取离散值，记，设状态取有限个离散值，若 称马尔可夫链。 一步转移概率 记，称为马氏链的一步转移概率。 由所有的（，）构成的矩阵　 称为马氏链的一步转移矩阵。 可以证明： 步转移概率 记 ， 称为马氏链的步转移概率。 由所有的（，）构成的矩阵　 称为马氏链的步转移矩阵。 可以证明： 一步转移矩阵与步转移矩阵的　关系 定理：。 5．应用举例 　例3：天气预报。 假设明日是否有雨只与今日的天气状况有关，而与以前的天气状况无关。在今日有雨的条件下，明日有雨的概率为0.6，明日无雨的概率为0.4；在今日无雨的条件下，明日有雨的概率为0.3，明日无雨的概率为0.7；用1表示有雨，用2表示无雨。 求1一4步的转移概率矩阵。 求今日有雨，第2日（后日）有雨的概率。 求今日有雨，第3日无雨的概率。 求今日无雨，求第4日有雨的概率。 解：＝0.6 ＝0.4 ＝0.3 ＝0.7 今日有雨，第2日（后日）有雨的概率为。 今日有雨，第3日无雨的概率为。 今日无雨，求第4日有雨的概率为。 独立增量过程 引例 例1：用表示我国第年的人口总数，则表示在时间段的人口增量。一般，，是相互独立的。 例2：用表示时刻到某商店购物的房客总数，则表示在时间段的房客增量。一般，，是相互独立的。 例3：用表示时刻通过某路口的车辆总数，则表示在时间段的车流增量。一般，，是相互独立的。 独立增量过程的定义 设有一随机过程，，如果对任意时刻，过程的增量为（），若，是相互独立的随机变量，则称为独立增量过程，又称为可加过程。 泊松过程 定义 设随机过程（），其状态只取非负整数值，若满足下列三个条件： 对任意时刻，在时间段，事件出现的次数 （）是相互独立的。 对于充分小的，在时间段事件出现1次的概率为 对于充分小的，在时间段事件出现再次及再次以上的概率为 则称为泊伀过程。 泊松过程的概率计算 ①　　 ②　　 ③　　 ④　数学期望 记，有： ⑤　方差 ⑥　自相关 作业：P231，8.1，8.2，8.4，8.5，8.8。