信息率失真函数R(D).pptVIP

第四章　信息率失真函数 4.1　基本概念 4.2　离散信源的信息率失真函数 4.3　连续信源的信息率失真函数 4.4　保真度准则下的信源编码定理 4.1　基本概念 4.1.1　失真函数与平均失真度 4.1.2　信息率失真函数的定义 4.1.3　信息率失真函数的性质 率失真函数的定义域 率失真函数对允许平均失真度的下凸性 率失真函数的单调递减和连续性 引入限失真的必要性 失真在传输中是不可避免的 连续信源的绝对熵为无限大，若要无失真地进行传输，则要求信息传输率也为无限大，然而现实世界中信道带宽总是有限的，信道容量总有一定限度，因此不可能实现完全无失真的信源信息的传输 另一方面，从无失真信源编码考虑，由于要求码字包含的信息量不小于信源的熵，所以对于连续信源，要用无限多个比特才能完全无失真地来描述，这是不现实的 即使是离散信源，若要处理的信息量很大，采用无失真编码将使得信息的存储和传输成本非常高，而且在很多场合，过高的信息传输率是不必要的 引入限失真的必要性(续) 信宿只具有有限的的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的 例1：由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频传输的时候，就允许有一定的失真，并且对欣赏音乐没有太大的影响 例2：对于数字电视，由于人的视觉系统的分辨率有限，并且对低频比较敏感，对高频不太敏感，因此也可以损失部分高频分量 例3：放映电影，理论上要完全无失真地表现出一个连续动作，需要用无穷多个静态画面连续放映，但利用人眼的“视觉暂留性”，只要每秒钟连续放映24幅静态画面，就几乎让观众感觉不到失真的存在 引入限失真的必要性(续) 如果允许信息有某些失真，就可以大大降低信息传输速率，从而降低通信成本 失真函数 由于本章学习内容只涉及信源编码问题，因此可以把从信源编码器到信源译码器之间的所有部件合在一起等效为一个有噪声的试验信道 失真函数(续) 常用的失真函数 平均失真度 符号序列的失真度 符号序列的平均失真度 4.1.2　信息率失真函数的定义 信息率失真函数的定义(续) 率失真函数的定义域 (D 的下界) 率失真函数的定义域 (D 的上界) 率失真函数的定义域(Dmax 的计算) 率失真函数对允许平均失真度的下凸性 率失真函数的连续性 率失真函数的单调递减性 由于允许的平均失真越大，所要求的信息率就可以越小 率失真函数 R ( D ) 是在平均失真度小于或等于允许平均失真度为 D 的所有试验信道组成的集合 PD 中，取平均互信息 I ( X; Y ) 的最小值 当允许的平均失真度增大后，集合 PD 也随之扩大，它当然仍包含原来满足保真度准则的所有信道；这时再在扩大的 PD 集合中挑选 I ( X; Y ) 的最小值，显然新挑选出最小值或者不变，或者变小，所以率失真函数 R ( D ) 是单调非增的 以下将通过证明率失真函数 R ( D ) 在定义域 ( Dmin, Dmax ) 内不可能为常数从而证明率失真函数是严格单调递减的函数 率失真函数曲线的一般形式 4.2　离散信源的信息率失真函数 由率失真函数的定义可知，求解 R ( D ) 实质上是求解平均互信息的条件极值，与求信道容量 C 类似，可以采用拉格朗日乘子法求解 4.2.1　离散信源信息率失真函数的参量表达式 4.2.2　二元及等概率离散信源的信息率失真函数 二元离散信源率失真函数曲线 多元等概率离散信源的率失真函数 4.3 连续信源的信息率失真函数 4.3.1　连续信源信息率失真函数的参量表达式 4.3.1　连续信源信息率失真函数的参量表达式（续） 4.3.2　高斯信源的信息率失真函数 4.3.3　信息率失真函数与信息价值 同样的信息对不同的接收者其(客观)信息量是相同的，但对不同的接收者其价值是有差别的 尽管信息率失真理论只研究客观信息量，不涉及信息对接收者有着不同的价值，但如果把平均失真理解为平均损失，据此定义信息价值，就可以用信息论解决许多实际问题 产品不经检验而出厂——都当合格品 产品不经检验全部报废——都当废品 正确无误地判断合格品和废品——完美的检验 检测时允许有一定的错误——非完美的检验 信息率 R 的价值 信息率失真函数 R ( D ) 是平均失真度 D 的单调递减函数，其反函数为 D ( R ) ，表示信息率为 R 时的平均失真度(平均损失) 最大的平均损失为 Dmax，此时的率失真函数 R ( Dmax ) = 0 表明没有获取信源的任何信息 当获取一信息率 R ( D ) 后，平均损失将由 Dmax 下降为 D ( R )，即获取 D ( R ) 比特的平均互信息可以减少损失 Dmax - D ( R )，据此可以定义： 4.3.4　信道容量与信息率