马科夫链.docVIP

6.3马尔柯夫过程 6.3.1 马尔可夫链及其应用 1. 随机过程的概念 在概率论中已经指出一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描述。在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接连不地观测它的变化过程。这就要研究无限多个，即一族随机变量。随机过程理论就是研究随机现象变化过程的概率规律性的。 定义6.4 设是一族随机变量，是一个实数集合，若对任意实数，是一个随机变量，则称为随机过程。 称为参数几个，参数可以看作时间。的每一个可能值称为随机过程的一个状态。其全体可能取值所构成的集合称为状态空间，记作。当参数集合为非负整数集合时，随机过程又称随机序列。本节要介绍的马尔可夫链就是一类特殊的随机序列。 例6.5 在一条自动生产线上检验产品质量，每次取一个，“废品”记为1，“合格品”记为0。以表示第次检验结果，则是一个随机变量。不断检验，得到一列随机变量记为。它是一个随机序列，其状态空间。 例6.6 在个商店联营出租照相机的业务中（顾客从其中一个商店租出，可以到个商店中的任意一个归还），规定一天为一个时间单位，“表示第天开始营业时照相机在第个商店”， 。则是一个随机序列，其状态空间 。 例6.7 统计某种商店在时刻是一个随机过程，状态空间，其中为最大库存量。 我们用一族分布函数来描述随机过程的统计规律。一般地，一个随机过程，对任意正整数及中任意个元素的联合分布函数记为 （6.3.1） 由于及的任意性，（6.1）式给出了一族分布函数。记为 称它为随机过程的有穷维分布函数族。它完整地描述了这一随机过程的统计规律性。 2.马尔可夫链 1)马尔可夫链的定义 现实世界中有很多这样的现象：某一系统在已知现在情况的条件之下，系统未来时刻的情况只与现在有关，而与过去的历史无直接关系。比如，研究一个商店的累计销售额，如果现在时刻的累计已知，则未来某一时刻的累计销售额与现在以前的任一时刻累计销售额无关。上节中的几个例子也均属此类。描述这类随机现象的数学模型称为马氏模型。 定义6.5 设是一个随机序列，状态空间为有限或可列集。对于任意的正整数，若，有 （6.3.2） 则称为一个马尔可夫链（简称马氏），（6.3.2）式称为马氏性。 事实上，可以证明若等式（6.3.2）对于成立，则它对于任意的正整数也成立。因此，只要当时（6.3.2）式成立，就可以称随机序列具有马氏性，即 是一个马尔可夫链。 定义6.6 设是一个马氏链，如果等式（6.2）右边的条件概率与无关，即 （6.3.3） 则称为时齐的马氏链。称为系统由状态经过个时间间隔（或步）转移到状态的转移概率。（6.3.3）式称为时齐性。它的含义是：系统由状态到状态的转移概率只依赖于时间间隔的长短，与起始的时刻无关。本章介绍的马氏链假定都是时齐的，因此省略“时齐”二字。 2)转移概率矩阵及柯尔莫哥洛夫定理 对于一个马尔可夫链，称以步转移概率为元素的矩阵。当 时记称为马尔可夫链的步转移矩阵，或简称转移矩阵。它们具有下列三个基本性质： 对于一切； 对任意； 对一切 当实际问题可以用马尔可夫链来描述时，首先要确定它的状态空间与参数集合，然后确定它的一步转移概率。关于这一概率的确定，可以由问题的内在规律得到，也可以由问题的内在规律得到，也可以由过去经验给出，还可以根据观测数据来估计。 例6.7 编号为Ⅰ、Ⅱ、Ⅲ的口袋内各装有一些球，起具体组成见表6-3-1。若规定，有放回地抽取，第次从与第次取到的球号数相同的口袋内取。表示第次取到球的号数。显然，是一个马氏链，写出它的一步转移概率矩阵。 表6-3-1 球个数 一号球 二号球 三号球 口袋Ⅰ 2 1 1 口袋Ⅱ 2 0 1 口袋Ⅲ 3 2 0 解： 因此，它的一步转移矩阵是 它实际上是表示6-1中各个数字除以该数字所在行的行和的商。 例6.8 设一随机系统状态空间，记录观测系统所处状态如下： 若该系统可用马氏模型描述，估计转移概率。 解：首先将不同类型的转移数统计出来分类记入表6-3-2： 表6-3-2 j 转移数 n 行和 各类转移数总和等于观测数据中马氏链处于各种状态次数总和减1。而行和是观测数据中系统处于状态的次数（最后一次观测不计）。是由状态到状态的转移次数，则的估计值。由表6-3-2得 例6.9 若顾客的购买是无记忆的，即已知现在顾客购买情况，未来顾客的购买情况不受过去购买历史的影响，而只与现在购买情况有关。现在市场上供应A、B、C三个不同厂家生产的50克袋装味精，用“”、“”、“”分别表示“