第三章离散信源无失真编码.ppt

记为信源每个符号所对应的平均码字数，则式(3-23)为 （3-24）Shannon第一定理的物理意义在于：对信源进行编码，使编码后的码集中各码字尽可能等概分布，如果将这码集看成为一个新的信源，这时新信源所含信息量最大。定义编码效率(3-26)η是一个无量纲的数，一般情况下η1，在极限情况下η=1。第26页，共44页，星期日，2025年，2月5日上一讲复习上一讲我们主要讨论了在不允许失真前提下对信源的编码，分为两种情况，等长编码和变长编码。等长编码定理和变长编码定理分别给出了这两种情况，在无失真和码长尽可能短这两个约束条件下的平均码长的上界和下界。等长编码定理记H（X）为单符号信源熵，L为扩展信源输出序列长度，n为码字长度，D为码符号集元素个数，当满足条件，则L→∞时，可使译码差错peδ(ε、δ为无穷小量)；反之，当时，则不可能实现无差错编码。变长编码定理(Shannon第一定理)记H（X）为单符号信源熵，L为扩展信源输出的序列长度，为信源每个符号所对应的平均码字数，D为码符号集元素个数，则对信源进行编码，总可以找到一种惟一可译码，使码长满足第27页，共44页，星期日，2025年，2月5日对于同一种信源，三种编码法中以香农编码法的编码效率最低，费诺编码法也不是一种最佳编码法，但用这种方法有时候也能找到紧致码。一般情况下，霍夫曼编码法得到的平均码长最短，即编码效率最高。3.4变长码的编码方法香农（Shannon）编码法费诺(Fano)编码法霍夫曼(Huffman)编码法变长编码法：第28页，共44页，星期日，2025年，2月5日3.4.1香农编码法D进制香农编码法其码长的取值范围:-logDq(xm)?nm-logDq(xm)+1（3-30）记离散信源，给定有D个元素的码符号集，对信源进行变长编码，将各消息概率q(xm)(m=1,2,…,M)写成如下的形式：取码长nm(m=1,2,…,M)满足：tm?nmtm+1（3-28）第29页，共44页，星期日，2025年，2月5日香农编码法具体步骤如下:（以D=2为例）（4）计算出第m个消息的累加概率，再将pm变换成二进制小数，取小数点后面nm位作为第m个消息的代码组。（3）根据式（3-31）：-logq(xm)?nm-logq(xm)+1（-logq(xm)为整数时取等号），计算出每个消息的二进制代码的长度nm；（2）计算出各消息的-logq(xm)值，m=1,2,…,M；（1）将信源发出的M个消息，按其概率递减顺序进行排列;第30页，共44页，星期日，2025年，2月5日【例3.14】对给定信源进行D=2进制香农编码。消息符号xi消息概率qi-log2qi码长ni累加概率码字cix10.22.3430000x20.192.4130.2001x30.182.4830.39011x40.172.5630.57100x50.152.7430.74101x60.103.3440.891110x70.016.6670.991111110表3-8香农编码第31页，共44页，星期日，2025年，2月5日*第1页，共44页，星期日，2025年，2月5日第三章离散信源无失真编码内容提要：用尽可能少的符号来传输信源消息，目的是提高传输效率，这是信源编码应考虑的问