应用随机过程课件 ch2-2 离散时间马氏链2.pdf

第二章离散时间马氏链2

应用随机过程

中国人民大学出版社

应用随机过程第二章离散时间马氏链2中国人民大学出版社1/75

本章内容

3离出分布和离出时间

1平稳分布

离出分布

平稳概率分布

离出时间

双随机链

4离出时间的拓展

细致平衡条件

被吸收前访问非常返态

马氏链的可逆性

的期望步数

2极限行为状态转移的期望步数

应用随机过程第二章离散时间马氏链2中国人民大学出版社2/75

平稳分布

平稳分布

一个非周期性，且有限状态的不可约马氏链收敛于一个平稳分布

{π(y),y∈S}，即：

n

limp(x,y)=π(y)

n→∞

运用条件概率的定义：

P(X=j)=P(X=i,X=j)

n0n

i

n

=P(X=i)P(X=j|X=i)=q(i)p(i,j)

0n0

ii

其中，q(i)=P(X=i)是初始概率。

0

应用随机过程第二章离散时间马氏链2中国人民大学出版社3/75

平稳分布

n

P(X=j)=q(i)p(i,j)的矩阵-向量形式

ni

由()iSq

qi,∈组成的概率向量构成初始概率分布，并将之右乘转

n

移概率矩阵P，可得n期概率所组成的向量q，具体如下：

n

n阶转移概率矩阵