信息论与编码课件第5章报告.pptVIP

5、分组码（等长码、变长码、奇异码、非奇异码） -等长码：码中所有码字的长度都相同 码0，码1，码2 -变长码：码中的码字长短不一 码3，码4 -非奇异码：信源符号与码字是一一对应的，码0 -奇异码：反之不是一一对应，码1 定长编码定理 上述定理表明: 平均每个码字携带的信息量大于信源符号熵 ；或者所有码字所能携带的信息量大于信源熵 ,则可以使传输几乎无失真,当然条件是L足够大。 反之,当 时,不可能构成无失真的编码,也就是不可能做一种编码器,能使收端译码时差错概率趋于零。 时,则为临界状态,可能无失真,也可能有失真。 定长编码定理 6、定长无失真编码序列长度L： 对定长编码,若要实现几乎无失真编码,则信源序列长度必须满足: 信源编码 第5章 5.1 编码的定义 5.2 无失真信源编码 5.3 限失真信源编码 5.4 常用信源编码方法简介 内容 * 5.1 编码的定义 * 信源编码： 无失真信源编码—第一极限定理 限失真信源编码—第三极限定理 信道编码 第二极限定理 1）信源编码 在不失真或允许一定失真条件下,如何用尽可能少的符号来传送信源信息,以便提高信息传输率 2）信道编码 在信道受干扰的情况下如何增加信号的抗干扰能力,同时又使得信息传输率最大，提高信息的准确率。 1、编码的分类 * 信源编码器 码表 信源 信道 2、信源编码: 定义：将信源输出符号,经信源编码器后变换成另外的压缩符号,然后将压缩后信息经信道传送给信宿 --作用：信源符号之间存在分布不均匀和相关性, 使得信 源存在冗余度,信源编码的主要作用就是 减少冗余,提高编码效率。 --目地：针对信源输出符号序列的统计特性,寻找 一定的方法把信源输出符号序列变换为最短的 码字序列。 X Y * 3、分组码，非分组码 信源符号 信源符号 出现概率 码 表（分组码） 码0 码1 码2 码3 码4 a1 p(a1)=1/2 00 0 0 1 1 a2 p(a2)=1/4 01 11 10 10 01 a3 p(a3)=1/8 10 00 00 100 001 a4 p(a4)=1/8 11 11 01 1000 0001 --信源每个符号序列xi={x1 x2 … xL}按照固定的码表映射成一个码字yi叫做分组码，只有分组码才有对应的码表，非分组码没有码表。 --若码集为{0,1},所得码字为二元序列,称为二元码 例,信源符号X＝{a1,a2,a3,a4},L=1，即每个符号序列长度为1，即为单符号序列，对应不同码字(分组码）如表 4、非奇异码（唯一可译码、非唯一可译码） 任意有限长的码元序列,只能被唯一地分割成一个个的码字。 例1：{0,10,11}是一种唯一可译码。 任意一串有限长码序列,如100111000,只能被分割成10,0,11,10,0,0。任何其他分割法都会产生一些非定义的码字。 例2：{10,0,0,01,00}是一种非唯一可译码。 任意一串有限长码序列,被分割成10,0,0,01,00 。也可被分割成10,0,00,10,0 。 奇异码不是唯一可译码 * 5、唯一可译码(非即时码、即时码) 非即时码： (延长码) 如果接收端收到一个完整的码字后不能立即译码,还需等下一个码字开始接收后才能判断是否可以译码 例：码3是非即时码 即时码： (非延长码) (异前缀码) 在译码时无需参考后续的码符号就能立即作出判断,译成对应的信源符号。 任意一个码字都不是其它码字的前缀部分 例：码4是即时码 在延长码中,有的码是唯一可译的,取决于码的总体结构 编码的分类 码 非分组码 分组码 奇异码 非奇异码 非唯一可译码 唯一可译码 非即时码 即时码 (非延长码) * 6、码树 表示各码字的构成 A 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 0 1 1 1 1 1 二进制码树 2 0 0 0 0 0 1 1 1 1 1 2 2 2 2 2 三进制码树 树根—码字的起点 分成r个树枝—码的进制数 终端节点—码字1101 中间节点—码字的一部分 节数—码长 码树 码4 1 1 1 1 0 0 0 1 01 001 0001 7、码字和码数的对应关系 如果有n个信源符号,那么在码树上就要选择n个终端节点,用相应的r元基本符号表示这些码字。（码0） 码0 0 1 0 0 1 11 1 10 01 00 --任一即时码（