第六章节-信道编码定理.pptVIP

第六章：信道编码定理;信息论研究编码的主要内容;信息论研究编码的方法;;;§6.1:问题引出与定理描述;错误概率与译码准则、编码方法－1;编码;错误概率与译码准则、编码方法－3信道译码;错误概率与译码准则、编码方法－4;译码准则一：最小错误概率准则（最大后验概率准则） 特点： 优点：理想 缺点：1、后验概率不易得到 2、后验概率依赖于输入分布;错误概率与译码准则、编码方法－6;错误概率与译码准则、编码方法－7;选择好的译码规则可以降低错误概率 FANO不等式说明,无论什么译码规则,对减少误码率的作用有限,误码率受信道特性的影响严重。 增加码空间M，并选择适当的编码方法,可以既使错误概率降低,又使码率保持较大。 适当的编码方法就是适应信道特性的方法即:信道编码;§6.1: 问题引出与定理描述;6.1:问题引出与定理描述;;§6.2:信道编码的作???及实质－什么是信道编码？;复接、代数编码、调制、成形滤波、扩频、上下变频等等都属于广义的信道编码范畴 注意：信道译码可以不是离散信道译码。只有当解调为 硬判决输出时才是离散信道和离散信道译码;信道编码的作用： 在资源、可靠性和传信量之间选择一个好的工作点（有时还要考虑延时）。 资源指的提供信息传输所付出的代价 包括频率、时间、空间、功率等等。但不包括实现复杂度 一个好的编码就是要充分利用资源，传递尽可能多的信息;给定资源和可靠性要求，通过信道编码尽量提高传输速率（例：多电平编码） 给定对信息传输的速率和可靠性要求，通过信道编码尽量减少资源开销（例：扰乱编码） 给定资源和传输速率，通过编码提高可靠性（例：检、纠错编码）;利用冗余降低差错概率 —— 在信息码中增加一定数量的监督码元，使它们满足一定的约束关系。在信道传输中如果码字受干扰而在接收端出现一些偏差，破坏了其约束关系，收方通过检验这种约束关系来把错误识别或校正出来，从而保证通信的可靠性。 －差控码 将所有可能的输入信息（消息）映射到信道符号（波形）空间的点，而这个点的集合要小于（包含于）全信道空间中点的集合。 ——通过增加冗余度，即将信息空间映射到更大的信道波形空间，以提高不同码字波形间的差异程度，从而获得增益。 ;§6.2:信道编码的作用及实质 －信道编码的实质;§6.2:信道编码的作用及实质 －差错控制编码的基本原理;§6.2:信道编码的作用及实质 －差错控制编码的基本原理;§6.2:信道编码的作用及实质 －差错控制编码的基本原理;§6.2:信道编码的作用及实质 信道编码的基本分类;§6.3:信道编码定理的证明及其物理意义;信道编码定理： 设R是信息传输的速率，C是离散无记忆信道的信道容量，ε0是任意小的数，则只要RC就总存在码字长为N，码字数为M=2NR的分组码使译码的平均差错概率Peε。;信道编码定理的证明思路： 通常思路： 构造一个理想的好码， 定义一种译码准则， 计算该好码经过译码后的误码率 问题： 构建极其复杂且无具体方法， N值很大时，误码率计算困难 香农采取的方法: 用随机编码方法得到所有可能码的集合 在其中随机选择一个码作为信道码 利用联合典型序列译码 利用大数定理计算在集合平均意义上的该码性能;联合ε典型序列 ε典型序列： 信源输出的随机序列－奠定了信源编码的基础 联合ε典型序列： 两个随机序列的自然扩展，是信道编码的基础 联合ε典型序列定义： 联合AEP定理 定理解释 ;联合ε典型序列定义： 设 是长为N的随机序列对， 则在这些随机序列对中满足下列条件的序列对被称为联合典型序列 ;联合AEP定理： 设随机序列对 的 ，则对任意小的数δ 0，我们总能找到足够大的N使全体序列对的集合能被分成满足下述条件的集合G及其补集Gc： （1） （2） （3）设 是相互独立的随机序列对，但它与 有相同的边缘分布，即： 则： ;…;联合AEP定理的解释： 两个随机变量情况下，序列Xn,Yn及其联合序列XnYn都具有AEP特性 联合典型序列对是高概率序列对 联合典型序列对是一些密切关联的序列对 一般与X对应的Y可能是Y空间的任一个，该定理说明：随N的增大，对应X的Y只能是（X,Y)典型序列对的Y，取其他Y的概率?0 联合典型序列数目为2NH(XY)， 典型X,典型Y随机组合的空间为