信息论基础 第四章 数据可靠传输与信道编码I.pptVIP

信息论基础 杜春娟 ducj@scnu.edu.cn QQTel第四章 数据可靠传输和信道编码  例 题 例4.2.1(Z信道) 输入集和输出集均为{0,1} P88 书图4.2.1 0-0 1 1-0 q 1-1 1-q 若q=0.15,设输入分布为{p0,p1}, H(X)=H(Y)-H(Y|X)=h(p1(1-q))-(p0h(0)+p1h(q)) = h(p1(1-q))-p1h(q) 这里 H(Y)=h(p1(1-q)) H(Y|X)=∑p (x) H(Y|X=x)=-∑p (x) ∑p (y |x) log p (y |x) =p0h(0)+p1h(q) q＝0.15时，P1取0.445时，达到最大的熵，C＝0.685 一般的q， p1＝ 高噪声打字机 信道的输入输出集合为：{A,B,C,……,Z,－}. 其中－表示空格，这27个字母排成一圈，当输入某个字符时，输出以等概率1/3产生它本身及相邻的两个字符，见图4.2.2 如：P(Y=A|X=B)= P(Y=B|X=B)= P(Y=C|X=B)=1/3 则该信道容量为C＝log29比特，达到信道容量之输入分布为均匀分布 P(X=x)=1/27, 对每个x 上述信道可以构造一个无差错的通信策略，只选1/3个输入字母，每隔3个取一个：{B,E,H,……，Z}，则对应的输出集合互不相交，从而收到的任一个输出字符时均唯一可译，输入字母集只含有9个字母，因此，该信道容量为C＝log29比特 2. 信道迭代算法 求解简单的条件极值问题可以用拉格朗日乘数法 求解复杂的条件极值问题需要借用数值方法 1972年Arimoto和Blahut发明了信道容量的迭代算法 利用交替极小化的思想来计算信道容量，集合为概率分布集，距离为相对熵 两个集合最小距离 交替算法 信道容量的迭代算法 引理4.2.4 根据引理得到：I（X;Y）= 从而C＝ 三、信道编码理论 信道编码定理：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率RC，总可以找到一种编码，当L足够长时，译码差错概率Peε，ε为任意大于零的正数。反之，当RC时，任何编码的Pe必大于零，当L→∞，Pe→1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 连续信道也有类似结论。 信道容量 C：在信道中最大的信息传输速率，单位是比特/信道符号。 单位时间的信道容量 Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 实际是信道的最大信息传输速率。 求信道容量的方法 当信道特性 p(yj /xi) 固定后，I(X;Y) 随信源概率分布 p(xi) 的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。 当 n=2 时的强对称离散信道就是二进制均匀信道。 二进制均匀信道 的信道容量为： 二进制均匀信道容量 曲线如图3.2.5所示。 香农公式说明 当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求；反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。 信道编码定理：若有一离散无记忆平稳信道，其容量为 C，输入序列长度为 L，只要待传送的信息率 RC，总可以找到一种编码，当 L 足够长时，译码差错概率Peε，ε为任意大于零的正数。反之，当 RC时，任何编码的 Pe 必大于零，当 L→∞，Pe→1。 信道编码定理说明：同无失真信源编码定理类似，信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。 * * 离散无记忆信道和信道容量 信道容量的计算 拉格朗日乘子法 信道容量的迭