第七章：限失真编码2.ppt

§7.4:限失真信源编码定理－1 限失真信源编码定理 限失真信源编码定理的证明 限失真信源编码定理的实用意义 §7.4:限失真信源编码定理－2 限失真信源编码定理 设R(D)为一离散无记忆平稳信源的信息率失真函数，并且有有限的失真测度。对于任意D≥0，ε＞0，δ＞0以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为: M=exp{n［R(D)+ε］} 而编码后码的平均失真度: d(C)≤D+δ 如果用二元编码，R(D)取比特为单位，则上式M可写成: M=2{n［R(D)+ε］} §7.4:限失真信源编码定理－3 定理解释： 对于任何失真度D≥0，只要码长n足够长，总可以找到一种编码C，使编码后每个信源符号的信息传输率: R′=logM/n=R(D)+ε 即: R′≥R(D) 而码的平均失真度d(C)≤D。 在允许失真D的条件下，信源最小的、可达的信息传输率是信源的R(D)。 §7.4:限失真信源编码定理－4 限失真信源编码定理的证明 问题： 设有达到R(D)的试验信道p(v|u),要证明对于任意的R‘R(D)时，存在一种信息传输率为R’的信源编码，其平均失真度≤D+δ 思路： 产生码书 选取编译码方法 计算失真度 方法： 产生码书：在Vn空间随机抽取M=2nR’个随机序列v 编码方法：若存在与信源序列u构成失真典型序列对的序列v(ω),则编码u?v(ω),否则编码u?v(1) 译码：再现v(ω) 失真度计算：在所有随机码书和Un空间统计平均的基础上计算平均失真度 §7.4:限失真信源编码定理－5 限失真信源编码定理的几点说明 只是一个存在性定理，没有构造方法 存在问题： 符合实际信源的R(D)函数计算相当困难 信源统计特性的确切数学描述难得 符合主客观实际的失真测度难得 R(D)计算本身困难 即使求得了R(D)，还需研究最佳编码方法才能达到极限值R(D)。 §7.4:限失真信源编码定理－6 限失真信源编码定理的实用意义 如何进行限失真信源编码？ 举例： R（D）的实用意义 在允许一定失真的情况下，信源的R(D)函数可以作为衡量各种压缩编码方法性能优劣的一种尺度。 举例： 二进制无记忆对称信源 编译码： 举例：结论 R’=1/3（比特/信源符号） 该压缩编码方法下的信息传输率 d(C)=1/4 该压缩编码方法下的平均失真 R(1/4)=1-H(1/4)=0.189(比特/信源符号） 失真1/4下，最小的信息传输率R是0.189(比特/信源符号） R(1/4)R’ 在1/4失真度下，该压缩编码方法不是最佳的，或该信源还可以压缩 §7.5:香农三大定理的关系和比较－1 §7.4:香农三大定理的关系和比较－2 熵压缩编码 重点介绍三种有代表性的方法 1）量化 标量量化 矢量量化 2）变换编码 3）预测编码 习惯上对把矢量量化和变换编码称为熵压缩分组编码，预测编码称为熵压缩树码 前面提到就是允许一定D，把熵率压缩最小，即，使率失真函数最小。 量化 它包括标量和矢量两种，这是重点讲标量量化 1? 标量量化适用范围：连续无记忆信源 2?标量量化的概念：连续信号量化K个若干可能离散值 举例：A/D采集版 量化 量化概念 A/D中的量化 量化过程示意图 一个量化实例 量化 量化概念 A/D中的量化 量化过程示意图 一个量化实例 量化 量化概念 A/D中的量化 量化过程示意图 一个量化实例 量化 量化概念 A/D中的量化 量化过程示意图 一个量化实例 变换编码原理 定义：将空域图像信号映射变换到另一个正交矢量空间（变换域或频域），产生一批变换系数，对系数进行编码处理 原理： 信号在时域描述时信息冗余度大，变换后，参数独立，去掉相关性，减少冗余，数据量大大减少。 利用人的视觉特性，对高频细节不敏感，可以滤除高频系数，保留低频系数。 变换原理在数学上的解释 最佳正交变换K-L变换 3） 标量量化涉及几个性解指标 P243 信息速率RK 平均失真DK 量化器输出最大速率Mk=log2k 显然：取不同的{TK}和{qk},量化将有不同的RK，DK，MK TK:门限电平（k+1个） qk:电平值 （k个） 4）? 均匀量化 概念：量化间隔相等 最优均匀量化：使DK达到最小均匀量化 例：对高斯信源 即:Rk=1/4+1/2log(Pu/Dk) 问题：均匀量化不是DK最小的一个、提出一种Uoyd-Max算法 5）Lioyd-Max算法 思想：反复对{TK}、{qk}在使DK最小的两个必要条件进行迭代（必要条件为：P235） Tk-1=1/2(qk-1+qk) ∫(u- qk)p(u)du=0 ?则求出{Tk}{qk}