马尔科夫链的状态分类课件.pptVIP

马尔可夫链的状态分类;定理1;证3;说明;吸收态;例1;2/3;例2;1;二、首达时间和状态分类;自状态 i出发，经过n步首次到达状态j 的概率;对于首次到达时间;2．首次到达分解式;说明;必要性;3．常返态与瞬时态;这样，系统从状态i出发，又返回，再出发，再返回，随着时间的无限推移，将无限次访问状态i。;定理5;说明;故得;4．状态空间的分解;证;5．正常返态与零常返态;定理9;由定理9，上式第一项有;说明;定理10;6．有限马氏链;例3;从图可知，此链的每一状态都可到达另一状态，即4个状态都是互通的。;类似地可求得;例4 ;类似地可证;由定义知状态0为常返态。;三、状态的周期与遍历;证;（2）;例5;从图可知，对任一状态 都有 ，;习题课;;2．带有反射壁的随机游动;p;3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格， 以概率 逆时针游动一格。试求转移概率矩阵。;4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且 ，试求转移概率矩阵。;5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。;1/3;可讨论状态1;状态1是常返态;7．设马氏链的状态空间S={1，2，3，4，5}，其一步转移矩阵为;对于任意 有， 即S为不可再分闭集。;8．设马氏链的状态空间为S = {1，2，3}，其一步转移矩阵为;9．设马氏链的状态空间为S = {1，2，3，4}，其一步转移矩阵为