信道编码定理-2011.pdf

信息论 有噪信道编码定理 有噪信道编码定理 引言 ? 信道编码的目的：提高传输可靠性。 ? 有噪信道编码定理，即仙农第二定理，是信道编 码的理论基础。 ? 本章重点介绍通过信道编码通信系统所能达到的 2 极限性能，不涉及编码技术的具体实现。 有噪信道编码定理 本章主要内容 1. 概述 2. 常用译码准则 3. 费诺(Fano)不等式 4. 序列的最佳译码准则 3 5. 有噪信道编码定理 有噪信道编码定理 § 1 概述 ? 信道编码就是按一定的规则给信源输出序列增加 某些冗余符号，使其变成满足一定数学规律的码 序列（或 码字），再经信道进行传输。 4 ? 信道译码就是按与编码器同样的数学规律去掉接 收序列中的冗余符号，恢复信源消息序列。 有噪信道编码定理 插 抽 入 出 冗 冗 余 余 信 信 息 息 发送序列还原序列 还原序列 5 编码 传输信道 译码 有噪信道编码定理 编码器与信道模型图 Xn Yn ???????? {1, 2, . . .M , } cxx:{12 , ,...,M x } 6 有噪信道编码定理 信道译码方式 ? 通常有两类信道译码方式 – 硬判决，即首先进行信道传输符号的判决再进行 信道译码 ； – 软判决，即信道传输符号的判决和信道译码同时 7 完成； – 通常，单符号的信道译码指的是信道传输符号的 判决。 ? 由于译码算法直接影响系统的传输的错误率，所以要 选择使平均差错率最小的译码算法。 有噪信道编码定理 1.1信息传输速率 ? 信息传输速率表示每个码符号携带的信息量。 R ? HX()/ n 8 – 当信源符号等概率时，码信息传输速率R为 R ? (1 /nM ) log 有噪信道编码定理 例题 例 1. 1 一个二进（n，k）线性分组码的每个码字的码长为 n，信息位数为k，求编码后的信息传输速率。 解 log 2k k R ? 2 ? nn（比特/传输符号） 9 在信道编码技术中，R=k/n常称做码率或编码效率。 有噪信道编码定理 1.2 错误概率 ? 为提高可靠性，必须降低传输的错误概率。 ? 通常有两种错误概率的描述：误码率和误字率。 ? 误码率是指传输码元出错概率（对二进制也称误比特率）. ? 误字率是指码字出错概率。 10 ? 对同一通信系统，误码率总比误字率低。 ? 错误概率既与信道的统计特性有关，也与译码规则 的选择有关。 有噪信道编码定理 举例 例如：二元对称信道中