马尔可夫过程.docxVIP

人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态(现在)的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的/wiki/%E5%B8%83%E6%9C%97%E8%BF%90%E5%8A%A8布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。关于马尔可夫过程的理论研究，1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》，首先将微分方程等分析方法用于这类过程，奠定了它的理论基础。1951年前后，伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上，建立了随机微分方程的理论，为研究马尔可夫过程开辟了新的道路。1954年前后，W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中，Ε.Б.登金（又译邓肯）等并赋予它概率意义（如特征算子等）。50年代初，角谷静夫和J.L.杜布等发现了布朗运动与偏微分方程论中狄利克雷问题的关系，后来G.A.亨特研究了相当一般的马尔可夫过程（亨特过程）与位势的关系。目前，流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。离散时间马尔可夫链?　以上述荷花池中的青蛙跳跃过程为例,荷叶号码的集合E叫做状态空间，马尔可夫性表示为：对任意的0≤n1In2…Inln0,i1,i2,…，il，i,j∈E，有只要其中条件概率（见/wiki/%E6%A6%82%E7%8E%87概率）有意义。一般地，设E={0，1,…,M}(M为正整数)或E={0,1,2,…},Xn，n≥0为取值于E的随机变量序列,如果(1)式成立，则称{X,n≥0}为马尔可夫链。如果(1)式右方与m无关，则称为齐次马尔可夫链。这时(1)式右方是马尔可夫链从i出发经n步转移到j的概率,称为转移概率。对于马尔可夫链，人们最关心的是它的转移的概率规律,而n步转移矩阵正好描述了链的n步转移规律。由于从i出发经n+m步转移到j必然是从i出发先经n步转移到某个k,然后再从k出发(与过去无关地)经m步再转移到j，因此有 这就是柯尔莫哥洛夫－查普曼方程。根据这一方程，任意步转移矩阵都可以通过一步转移矩阵计算出来。因此，每个齐次马尔可夫链的转移规律可以由它的一步转移矩阵P来刻画。P的每一元素非负且每行之和为1,具有这样性质的矩阵称为随机矩阵。例如，设0Ip1，q=1-p，则M阶方阵 为随机矩阵，它刻画的马尔可夫链是一个具有反射壁的随机游动。设想一质点的可能位置是直线上的整数点 0，1,…,M,0和M称为壁,它每隔单位时间转移一次,每次向右或左移动一个单位。如果它处在0或M,单位时间后质点必相应地移动到1或M-1,如果它处于0和M之间的i，则它以概率p转移到i+1,以概率q转移到i-1。又如果把P的第一行换成(1,0,…,0),则此时表示0是吸收壁,质点一旦达到0,它将被吸收而永远处于0。如果不设置壁,质点在直线上的一切整数点上游动,称为自由随机游动,特别当时，称为对称随机游动。为了进一步研究马尔可夫链的运动进程，需要对状态进行分类。若pij0，则称i可以直达j，记作i→j,如还有pji0，则记作i凮j，采用这样的记号，可以用图形表示运动的进程。例如图形 表示一个马尔可夫链的运动情况,当链处于b1,b2,b3状态时，将永远在{b1,b2,b3}中运动,当链处于α1,α2,α3,α4状态时，将永远在{α1,α2,α3,α4}中运动,而{d1,d2,…}不具有这种性质,因为从d1可一步转移到b1或d2,自d3可到α1或d4，等等。对一般的马尔可夫链，若C是由一些状态组成的集合，如果链一旦转移到C中的状态,它将永远在C 中转移，C 就称为这个链的闭集。对闭集C，如果从C 中任一状态出发经有限步转移到另一状态的概率都大于0,则称C为不可约闭集，例如上例中的{b1,b2，b3}。至于{b1,b2,b3,с1,c2}虽然也是闭集,但却是可约的。如果从状态i出发经有限次转移后回到i的概率为1，则称i为常返状态。状态空间 E可以分解为由一切非常返状态组成的集 E0（如上例中的{d1,d2,…}）和一些由常返状态组成的不可约闭集Eα（如上例中的 {b1,b2, b3},{α1，