第7章 节 信息率失真理论 信息论 .ppt

2010年3月;第7章 信息率失真理论; 通信的实质是传输信息，要求传输的有效性和和可靠性。有效性——在不失真或允许失真的条件下，用尽可能少的符号传送信源信息。信源编码分为无失真和限失真。 （1）无失真编码，又名冗余度压缩编码：仅对信源的冗余度进行压缩，不改变信源的熵； （2）限失真编码，又名熵压缩编码：在失真受限的情况下进行限失真编码。;信源编码的基础是信息论中的两个编码定理： 无失真编码定理 　无失真编码是可逆的，即当信源符号变换成代码以后，可以从代码无失真地恢复出原信源符号。只适用于离散； 限失真编码定理 　在连续信源的情况下，由于信源的信息量趋于无限，显然不能用离散符号序列来完成无失真编码，而只能进行限失真编码。 ;引入限失真的必要性 ;;问题的提出;一、单符号离散信源的信息率失真函数;常用的失真度：;②平均失真度;③保真度准则;单符号离散信源概率分布P(X)不变时调整信道，满足保真度准则 的信道P(yj/xi)，称为D失真许可的实验信道。;信源概率分布P(X)不变时，保真度准则下平均互信息量的最小值为该信源的信息率失真函数，用R(D)表示。;表示;当D =Dmin=0，即不允许任何失真时;根据R(D)的意义，当;例1;;;4、信息率失真函数的性质;设第1个试验信道满足D1条件下R(D)的定义;取一个新的试验信道;③对D具有单调递减性;当Dmin=0时，信息率失真函数R(D)的大致曲线为;单符号离散信源的信息率失真函数可以通过平均互信息量在满足保真度准则前提下信源固定时对信道转移概率分布的条件极值来求取。;根据拉格朗日乘子法，设;;;对j求和;信息率失真函数的计算步骤;;参量S与R(D)的关系;乘P(yj)，对j求和;;由R(D)对D的严格下凸性和单调递减性，有 S 0及;;;;;;;当α=1时，;R(D);二元信源;当D=1/8时，;7、等概率信源的信息率失真函数;…;…;;;;当p=0.5时，二元信源的信息率失真函数;当α=1时，;三元等概率信源，取汉明失真矩阵 ;当D=1/3时，;二、平稳无记忆信源的信息率失真函数;实验信道;三、时不变连续信源的信息率失真函数;与单符号离散信源类似，导出信息率失真函数的计算步骤;设失真度;根据平均功率受限的最大相对熵定理，y??变条件下的条件相对熵;损失相对熵;根据詹森(Jensen)不等式;如果能找到试验信道，使;考虑高斯反向加性信道;高斯反向加性信道是试验信道。;;R(D);习题：(P129-130)4.1、4.10、4.11