中科院-随机过程.pdfVIP

第二章Markov过程

本章我们先讨论一类参数离散、状态空间离散的特殊随机过程，即参数为

T={0,1,2,L}=N0，状态空间为可列S={1,2,L}或有限S={1,2,L,n}的

Markov链。Markov链最初由Markov于1906年引入，至今它在自然科学、工

程技术、生命科学及管理科学等诸多领域中都有广泛的应用。讨论

另一类参数连续状态空间离散的随机过程，即研究纯不连续Markov过程。

1．Markov链的定义

定义：设随机序列{X(n);n≥0}的状态空间为S（离散），如果对∀n∈N0，

及i,i,L,i,i∈S,P{X(0)=i,X(1)=i,L,X(n)=i}0，有：

01nn+101n

P{X(n+1)=iX(0)=i,X(1)=i,L,X(n)=i}=

n+101n

(A)

=P{X(n+1)=iX(n)=i}

n+1n

则称{X(n);n≥0}为Markov链。

注1：随机序列{X(n);n≥0}也可记为{Xn;n≥0}。

注2：等式（A）刻画了Markov链的特性，称此特性为Markov性或无后

效性（即随机过程将来的状态只与现在的状态有关，而与过去无关），简称为马

氏性。Markov链也称为马氏链。

定义：设{X(n);n≥0}为马氏链，状态空间为S，对于∀i,j∈S，称

P{X(n+1)=jX(n)=i}=p(n)

ˆ

ij

为马氏链{X(n);n≥0}在n时刻的一步转移概率。若对于∀i,j∈S，有

P{X(n+1)=j=p(n)≡p

X(n)=i}ˆij