信息论速成2.pptVIP

第四章 离散信道 其数学模型如下： ①若 则称其为[X, p(y|x), Y]的Ｎ次无记忆扩展信道，记作 信道 ②若 则称其为[X, p(y|x), Y]的Ｎ次有记忆扩展信道。 第三章 离散信源 ＊基本转移概率（一步转移概率） 一步转移概率pij(m, m+1)记成pij(m) pij(m) = p(Xm+1=Sj|Xm=Si) ＊k步转移概率 k步转移概率pij(m, m+k)记成pij(k) (m) pij(k)(m)=p(Xm+k=Sj|Xm=Si) 第三章 离散信源 ＊k步转移矩阵： m时刻的k步转移概率矩阵为 第三章 离散信源 ③ 、时齐马尔可夫链（齐次马尔可夫链） 若pij(m)=P(xm+1=Sj|xm=Si)与时刻m无关， 即pij(m)=pij ，则称为时齐马尔可夫链（齐次马尔可夫链） ? 一步转移矩阵P为 第三章 离散信源 2、切普曼—科尔莫哥洛夫方程（C-K方程） 命题：设P(n)是时齐马尔可夫链的n步转移矩阵(n?1)， P=P(1)是基本转移矩阵，则 从而有 其中元素 注意：P(n)是经过n步的转移矩阵。 第三章 离散信源 3、初始分布 定义：马尔科夫链在初始时刻的状态概率称为马尔可夫链的初始分布 p(X0=Si)=pi 释：对于齐次马尔科夫链，已知初始分布和基本转移概率后，可以求得任意时刻的状态分布。 第三章 离散信源 4、平稳分布 定义：若齐次马尔可夫链的n步转移概率对所有i,j存在不依赖于i的极限 且满足 则称其次马尔科夫链具有遍历性， 称为平稳分布。 释：当转移步长n足够大，可用常数pj代替pij(n)，j∈S。 第三章 离散信源 5、稳态分布 设齐次马尔可夫链转移矩阵为P={pij}, i,j=1,2,···,r，稳态分布为wj , j=1,2,···,r，则 a. b. W={w1 w2 ···wr}是稳态分布矢量，有W=WP c. 当初始分布W(0)=W时，对于所有的n有 W(n)=W d. W是唯一稳态分布，即若存在 第三章 离散信源 三、马尔科夫信源 1、实用信源模型： 信源输出序列X1X2…XN ，Xi 取值统一符号集； 输出当前符号Xk 的概率仅于已经输出的前m个符号有关，而与再前面的符号无关; 当前输出符号Xk 的条件概率p(Xk|Xk-mXk-m+1…Xk-1)已知； 信源极限熵是否存在？如何计算？ 思路：引入状态空间概念，将m维条件转换成一维条件；通过状态转移图利用条件概率计算出状态转移概率，通过状态平稳分布计算极限熵。 第三章 离散信源 2、状态空间： 如果信源输出符号集合为A={a1,a2,…,aq}，输出当前符号的概率仅于已经输出的前m个符号有关，而与再前面的符号无关，则称这m个符号构成信源的状态Si，所有可能的状态集合S称为状态空间 m称为马尔科夫信源阶数。 第三章 离散信源 3、马尔可夫信源 满足下列条件的信源称为马尔可夫信源 ①信源输出仅与当时状态有关 ②信源状态由当时输出符号与前一时刻信源状态决定 其中，xl 表示输出符号变量，ul 表示状态变量。 第三章 离散信源 m阶马尔可夫信源的状态空间为 其中，p(Si|Sj)由信源符号的条件概率 确定， 通过状态转移图将条件概率转换成状态概率。 4、m阶马尔科夫信源熵H(X1X2…XN) 通过影射X1X2…Xm ——＞Sm+1 X2X3…Xm+1 ——＞Sm+2 … XN-m+1XN-m+2…XN ——＞SN+1 将序列X1X2…XN变成Sm+1Sm+2…SN+1 *序列X1X2…XN中Xi与前m个符号有关：m阶； *序列Sm+1Sm+2…SN+1中Si与前面“符号”有关：一阶； *序列X1X2…XN与Sm+1Sm+2…SN+1 熵一样。 所以有：H(X1X2…XN) = H(Sm+1Sm+2…SN+1) = H(Sm+1)+ H(Sm+2|Sm+1) …+H(SN+1|SN) 第三章 离散信源 对于齐次马氏链 与时刻i无关，记作列向量h(仅与一步转移矩阵有关) 而且 所以 第三章 离散信源 若Sm+1处于稳态 第三章 离散信源 符号熵为 第三章 离散信源 5