5_信源编码3.pdfVIP

信源编码 张亚飞 信息工程教研室 2012-2013学年第1学期 1 信源编码 主要内容 信源编码的定义 分组码 无失真信源编码 最佳变长编码 2 最佳变长编码 最佳码的定义 凡是能载荷一定的信息量，且码字的平均长度最 短，可分离的变长码的码字集合都可称为最佳码 最佳编码思想 将概率大的信息符号编以短的码字，概率小的符 号编以长的码字，使得平均码字长度最短 最佳码的编码主要方法 香农（Shannon ）、费诺（Fano ）、哈夫曼 （Huffman ）编码 3 香农编码 香农编码 Shanon编码算法是一种简单的按概率编码的方 法，对于一个离散无记忆信源，如果其某一符号ai 的先验概率为p(a ) ，则就取其码长为 i 1 1 lo g ≤ K i lo g + 1 p (a i ) p (a i ) 4 香农编码 香农编码 （1 ）将信源消息符号按其出现的概率大小依次排 列 p 1 ≥p 2 ≥≥p n （2 ）确定满足下列不等式的整数码长Ki ( ) ( ) －log2 p i ≤K i −log2 p i +1 5 香农编码 香农编码 （3 ）为了编成唯一可译码，计算第i个消息的累 i−1 加概率 ( ) P ∑p a i k k 1 （4 ）将累加概率P 变换成二进制数（乘2取整，顺序排列） i （5 ）取P 二进数的小数点后K 位即为该消息符号 i i 的二进制码字 6 香农编码 例设信源共7个符号消息，其概率和累加概率 如下表所示 信源消息 符号概 累加概 -log p (a ) 码字长 码字 i 符号ai 率 率Pi