信息论—06.pptVIP

* 例题 试比较下面离散无记忆信源的一次与二次扩展信源的编码效率。 信源熵为 比特/信源符号 二元码符号 平均码长 二元码符号/信源符号 编码效率 二次扩展信源 111 1/16 110 3/16 10 3/16 0 9/16 即时码 平均码长 编码效率 二元码符号/信源符号 一个信源符号对应的平均码长 霍夫曼码 1. 将 个信源符号按概率分布 的大小，以递减次序排列起来，设 2. 用0和1码符号分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个符号，从而得到只包含 个符号的新信源，称为信源 缩减信源 把缩减信源 的符号仍按概率大小以递减次序排列，再将其最后二个概率最小的符号合并成一个符号，并分别用0和1码符号表示，这样又形成了 个符号的缩减信源 依此继续下去，直至信源最后只剩两个符号为止。将这最后两个信源符号分别用0和1码符号表示，然后从最后一级缩减信源开始，向前返回，就得出各信源符号所对应的码符号序列，即得对应的码字。 二元霍夫曼码的编码方法 例题 给出下面的离散无记忆信源的二元霍夫曼码。 答案：1,01,000,0010,0011 或 00,10,11,010,011或其它 元霍夫曼码 每次将概率最小的 个符号合并成一个新的信源符号，分别用 等码元表示，直到最后一步的缩减信源有 个信源符号。 因此，信源 的符号个数 必须满足 其中 表示缩减的次数 为每次缩减所减少的信源符号个数 例题 给出下面的离散无记忆信源的四元霍夫曼码。 答案：1,2,3,00,01,02,030,031 霍夫曼码的最佳性 定理：二元霍夫曼码一定是最佳即时码。即若 是霍夫曼码， 是任意其他即时码，则有 费诺码 首先将信源符号以概率递减的次序排列起来，将排列好的信源符号划分成两大组，使每组的概率之和尽可能接近，并各赋予一个二元码符号0和1。然后将每一大组的信源符号再分成两组，是同一组的两个小组的概率之和尽可能接近，并又分别赋予一个二元码符号，依次下去，直至每个小组只剩一个信源符号为止。这样，信源符号所对应的符号序列则为编得的码字。 例题 给出下面的离散无记忆信源的费诺码。 答案：00,01,100,101,1100,1101,1110,1111 香农-费诺-埃利斯码 1111 4 0.1111 0.9375 1.0 0.125 1101 4 0.1101 0.8125 0.875 0.125 10 2 0.10 0.5 0.75 0.5 001 3 0.001 0.125 0.25 0.25 码字 码长 的二进制数 累计分布函数 概率函数 信源符号 有一个信源X如下 例题 （1）用霍夫曼码编成二元变长唯一可译码，并计算其编码效率。 （2）用香农-费诺-埃利斯码编成二元变长唯一可译码，并计算其编码效率（即选取 是大于或等于 的整数。 （3）用费诺码编成二元变长唯一可译码，并计算其编码效率。 （4）比较这三种编码方法的优缺点。 (1) 信源X的二元霍夫曼编码为10，11，000，001，010，0110，0111 平均码长2.72二元符号/信源符号，熵为2.609比特/信源符号 编码效率 (2) 信源X的香农-费诺-埃利斯编码为0001，0100，0111，1010，1101，11110 平均码长3.14二元符号/信源符号 编码效率 (3) 信源X的费诺编码为00，010，011，10，110，1110，1111 平均码长2.74二元符号/信源符号 编码效率 MH编码（传真编码） 传真文件共有黑白二种像素。 同一种像素连续出现而形成的字符串长度称为游程长度。 每一个长度的游程长度都对应于一个码字（霍夫曼码）。 每一个扫描行（标准文件为1728个像素）可分成不同游程长度的黑白像素。 将不同游程长度的黑白像素表示成对应的码字。 例如某页传真文件中某一扫描行的像素点为 17白-5黑-55白-10黑-1641白 该扫描行的MH码为 17白 101011 5黑 0011 55白10黑 0000100 1600白 010011010 41白行结束码 000000000001 *