[经济学]第六章 马尔科夫链.ppt

二、无穷小转移率 及转移率矩阵（Q矩阵） 定义 二、无穷小转移率 及转移率矩阵（Q矩阵） 定理4 分析： 定理5（Kolmogorov微分方程） 三、Kolmogorov向前、向后微分方程 三、Kolmogorov向前、向后微分方程 三、Kolmogorov向前、向后微分方程 例1 生灭过程 十一、例子 第三节 极限性态及平稳分布 第三节 极限性态及平稳分布 一、 的极限性态 第三节 极限性态及平稳分布 一、 的极限性态 告诉我们极限 如何来求！ 第三节 极限性态及平稳分布 一、 的极限性态 一、 的极限性态 二、平稳分布 第三节 极限性态及平稳分布 二、平稳分布 第三节 极限性态及平稳分布 二、平稳分布 二、平稳分布 第三节 极限性态及平稳分布 三、 的存在性 四、例子 第三节 极限性态及平稳分布 四、例子 第三节 极限性态及平稳分布 四、例子 第三节 极限性态及平稳分布 例 雨伞问题 续 续 0 1 2 N-1 N 1 不下雨 1-p 下雨 p N-2 不下雨 1-p 下雨 p 不下雨 1-p 下雨 p 不下雨 下雨 p 不下雨 1-p 下雨 p 续 所以该马氏链是遍历的不可约马氏链，故平稳分布存在且唯一. 身边没雨伞的概率为 其一步转移转移概率矩阵为 续 长时间后，概率 与初始分布无关，近似于其平稳分布 续 小结：关于离散马氏链的分析 (1)先确定马氏链的一步转移概率矩阵P ； －－－整个研究的出发点. (2)根据一步转移概率矩阵P，对状态进行分类，确定状态的周期性； (3)判断状态的常返性－－非常返、正常返、零常返； (4)分析马氏链的平稳分布和转移概率的极限分布； (5)根据实际问题，作相关分析. 例 (离散分支过程) 考虑一生物种群的繁殖.假设开始时种群的个体数为 ，称之为第 代.由第 代个体繁殖产生的后代称为第一代，第一代个体的数目记为 .如此继续下去，第 代个体繁殖产生的个体称为第 代，第 代个体的数目记为 .假设同一代中各个个体繁殖产生的后代个数是相互独立的，且与种群以前的繁殖过程无关.每一个个体均可产生 个后代， 是非负整数值随机变量.则 是齐次马尔科夫链. 第 代个体 第 代个体 即第 代个体总数 是第 代各个个体繁殖的后代个体数之和.所以第 代个体的总数 完全由第 代的个体数 决定. 由题意知，随机变量序列 相互独立且与 同分布，且有 解： 称此形式的马氏链 为分支过程. 分支过程主要关心的问题是： 种群灭绝的概率及时间. 种群是否会爆炸？ 一、 基本概念 定义 转移概率 第五节 连续时间Markov链 定理1 定理2 构造连续时间Markov链的方法： 1、在转移到下一个状态之前处于状态i的时间服从参数为 的指数分布； 2、在过程离开状态i时，将以概率 到达j，且 方法一 利用定义 方法二 第五节 连续时间Markov链 齐次马氏链转移函数的连续性 第五节 连续时间Markov链 一个连续时间的马尔科夫链若以概率1在任意有限长的时间内转移的次数是有限的，则称其是正则的。 该条件说明：过程刚进入某状态不可能立刻又跳跃到另一个状态，这正好说明一个物理系统要在有限时间内发生无限多次跳跃，从而消耗无穷多能量是不可能的。 例5.22 Possion过程 例5.23 Yule过程 例5.24 生灭过程 例5.25 M/M/S排队系统 第五节 连续时间Markov链 性质1 性质2 二、无穷小转移率 及转移率矩阵（Q矩阵） 定理 二、无穷小转移率 及转移率矩阵（Q矩阵） 二、无穷小转移率 及转移率矩阵（Q矩阵） 定理2 (1) (2) 定理3 转移速率(跳跃强度) 二、无穷小转移率 及转移率矩阵（Q矩阵） 记齐次马尔科夫链的 步转移概率矩阵为： 则齐次马尔科夫链的切普曼－柯尔莫哥洛夫方程可用如下矩阵形式表示： 四、n步转移概率、C-K方程 四、n步转移概率、C-K方程 从0出发 经4步首 次回到0 状态 解： 例 (天气预测简单模型)假设明天是否下雨仅与今天的天气(是否下雨)有关，而与过去的天气无关.假设今天下雨、明天有雨的概率为 ，今天无雨而明天有雨的概率为 ；又假设把有雨称为 状态