信息论课件第七章.pptVIP

第七章 有噪信道编码 我们知道，一般信道中总是存在噪声或干扰，信息传输会造成损失，那么有噪信道中能不能无差错地传递信息？如果能，那么无错误传输的最大信息传输率是多少？这就是本章要研究的内容，即研究通信的可靠性问题。香农在1948年的文章中提出并证明了这个极限信息传输率的存在，这个定理叫信道编码定理，也称香农第二定理。 第一节 信道编码的相关概念 广义的信道编码指为特定信道传输而进行的传输信号设计与实现，常包括以下几类。 （1）描述编码：对特定数据信号的描述，如NRZ码、ASCII码、Gray码等。 （2）约束编码：对于特定信号特性的约束，如用于减少直流分量的HDB3码，用于相位与同步检测的Barker码等。 （3）扩频编码：用于扩展信号频谱为近似白噪声谱并满足某些相关特性，如m序列、Gold序列等。 （4）纠错编码：用于检测与纠正信号传输过程中因噪声干扰导致的差错，如重复码、循环码、BCH码、卷积码等，即狭义的信道编码。在本教程中，我们研究的是狭义的信道编码。 练习 例5. 设某二元码 ， 假定码字是等概率分布，则此码的码率R= ，此码的最小汉明离 ，若采用最小距离译码准 则，接收到序列00100、01100、10000时分别应译成码字为 。 第二节 .有噪信道编码定理及其逆定理 在上一节中，我们已经看到，只要选择有合适的编码、译码方法，可以使信道的信息传输率（码率）保持在一定的水平上，又可以使平均错误译码概率达到尽可能小。那么，在有噪信道，使平均错误译码概率尽可能小的条件下，可达的、最大的信息传输率是多少呢？Shannon第二定理即有噪信道编码定理回答了这个问题。 在具体介绍有噪信道编码定理之前先介绍一些有用的数学工具：联合典型序列及联合渐近等分割性。 * 在有噪信道中信道输入输出之间是统计依赖关系而不是确定关系，因此，信道输出要唯一地译成一个输入一般将无法避免差错，发生译码错误的概率称为译码错误概率。对于有噪信道，这一错误概率取决于信道的特性，且不可能为零。但是香农的研究表明，如果我们把要传送的消息在传送前事先进行编码，并在接收端采用适当的方法译码，则消息有可能得到几乎无误的传输，也就是说，通过不可靠的信道可以实现可靠的信息传输。 纠错编码又称为差错控制码，虽然和信源编码一样都是一种编码，但信源编码的作用是压缩冗余度以得到信息的有效表示，提高信息传输率，而信道编码的作用是提高信息传输时的抗干扰能力以增加信息传输的可靠性。 在研究信道编码时，我们把信源编码器和信源译码器分别归于信源和信宿，如图 在这里我们假定等效信源送给信道的信源符号是已经经过信源编码的M个码字。信道编码的编码对象就是这M个信源码字。这M个信源码字通常是由二元符号0，1构成的码字序列，也叫信息序列，而且经过信源编码后可以假定符号0和1是独立等概的。 所谓信道编码，就是按一定的规则给信息序列增加一些多余的码元，使不具有规律性的信息序列变为具有某种规律性的信道码字序列X，也就是说码字序列X的码元之间是相关的，在接收端，信道译码器利用这种相关性也就是已知的编码规则来译码，检验接收到的码字序列Y中是否有错，并且纠正其中的差错。根据相关性来检测和纠正传输过程中产生的差错就是信道编码的基本思想。 下面我们分别讨论在有噪声信道中信息传输发生错误的概率与什么因素有关系，它们是怎样影响译码错误概率的。 一、 错误概率和译码规则 我们已经知道错误概率与信道的统计特性有关。信道的统计特性可由信道矩阵来表示，由信道矩阵就可以求出错误概率。 例1. 在如图的二元对称信道中，单个符号的错误传递概率是p，单个符号的正确传递概率 为 ，讨论 译码平均错误概率。 注：由此例可知，错误概率与信道的统计特性有关。但是通信的过程并不是信息传输到信道输出就结束了，还要经过译码过程才能到达信宿，译码过程和译码规则对系统的错误概率影响很大。 定义1. 设信道的输入符号集 ，输出符号集 ，若对每一个输出符号 都有一个确定的 函数