信源编码定理_2011.pdfVIP

信源编码定理 信源编码：将信源符号序列按一定的数学规律映射 成由码符号组成的码序列的过程。 信源译码：根据码序列恢复信源序列的过程。 无失真信源编码：即信源符号可以通过编码序列 无差错地恢复。 （适用于离散信源的编码） 限失真信源编码：信源符号不能通过编码序列无 差错地恢复。 （可以把差错限制在某一个限度内） 信源编码的目的：提高传输有效性，即用尽可能短的码符 号序列来代表信源符号。 无失真信源编码定理证明，如果对信源序列进行编码，当 序列长度足够长时 ，存在无失真编码使得传送每信源符号 所需的比特数接近信源的熵。因此，采用有效的信源编码 会使信息传输效率得到提高。 概述 一、信源编码器 二、信源编码的分类 三、分组码 信源编码器 分组码单符号信源编码器 符号集A a i 编为 c i {,aa1 ? ,q } 编码器 码字集合 {cc1,,? q} 信源序列 码符号集 {}{bb1,? r} 信源译码器 分组码单符号译码器 码字集合{cc,,? } 1 q 信源序列 {aa1,,? q} 译码器 码符号集 {,bb1 ? r } 简单信源编码器 摩尔斯信源编码器 将英文字母变成摩尔斯电码 将摩尔斯电码变成二进码 信源编码器 信源编码器 信源符号 （1） （2） 二进信道 {{英文字母英文字母}} 码符号集点、划、字母间隔、单词间隔 信道基本符号{{00，，1}1} 符号 点 划 字母间隔 单词间隔 电平 + - +++ - - - - - - - - - 二进代码 1 0 1110 000 00000 摩尔斯信源编码器 信源编码的分类 概率匹配编码：信源符号的概率已知。 ? 分组码：先分组再编码。在分组码中，每一个码字仅与 当前输入的信源符号组有关，与其他信源符号无关。 包括：定长码、变长码（Huffman编码、费诺编码） ? 非分组 码：码序列中的符号与信源序列中的符号无确定 的对应关系。例如算术编码。 通用编码：信源 符号的概率未知。 信源编码 按信源序列和编码器输出的关系 分组码 非分组码 先分组再编码 无确定的对应关系 定 变 信源序列 编码序列 长 长 编码器 码 码 每一 个码字仅与当前输 入的信源符号组有关 例如算术编码就是非分组码 分组码 与非分组 码的显 著区 别：分分码中含组码中包含码字 必要条件 Y 唯一可译 各码字 非奇异码 都不相同？ N 不同的消息序 列不会生成相 同的码序列 奇异码