西安电子科技大学信息论与编码理论（专题讨论型）课件第二十章――无记忆信源的有失真编码(1).pptVIP

[例5]有一个二元等概平稳无记忆信源 ，接收符号集为 且失真矩阵为 ： 求率失真函数R(D) 。 由于信源等概分布，失真函数具有对称，因此，存在着与失真矩阵具有同样对称性的转移概率分布达到率失真R(D) ，该转移概率矩阵可写为： 由于 ,因此对于任何有限平均失真，必须 。于是转移概率矩阵变为： 对应此转移概率矩阵的平均失真 因此 可求出此时的互信息为： 相应的率失真函数R(D)如图所示。 率失真定理的逆定理 对于失真度量d(u,v),且i.i.d. 服从p(x)的任何信源U，以及失真≤D的任何一个率失真码，编码速率R≥R(D) 证明大意 无记忆信源的有失真编码——率失真理论(1) 第二十讲 由于信道的干扰，信息在传输过程中也会产生差错或失真； 对信源无失真压缩的极限是熵，如果再继续压缩就要失真。 信宿的灵敏度和分辨力有限，无需要求传输过程中信息绝对无失真； 允许信息有某些失真，可以降低信息传输速率，从而降低通信成本。 结论：失真不可避免，有时甚至必要 失 真 通过压缩所得到的编码序列不能完全恢复原来信源的信息，是有失真信源编码； 希望在不大于一定的编码速率的条件下，使平均失真限制到最小；或者在平均失真不大于某个值的条件下，使编码速率限制到最小（限失真信源编码）。 从信息论的观点处理数据压缩的学科称为信息率失真理论，是数据压缩的基本理论。它确定了为满足某一给定保真度准则恢复信源消息理论上传送每信源符号所需的平均的二进制数字数。 有失真信源编码 有失真与无失真编码实例 信源符号 u1 u2 u3 u4 u5 p(ui) 不等长编码 等长编码 允许失真 0.25 00 000 00 0.25 01 001 01 0.25 10 010 10 0.15 110 011 11 0.10 111 100 11 H(U)=1.944bit 1) 不等长编码：R=2.25bits 2) 等长编码： R=3bit 3) 允许失真编码：R=2bit 失真函数 失真函数 根据具体实际情况决定，可以 若信源变量U有r个符号，接收变量V有s个符号， 则d(ui,vj)就有r×s个,它可以排列成矩阵形式，即： 失真矩阵 这里U指原始的未失真信源，而V是指失真以后的信源。因此，从U到V之间实际上是失真算法，即转移概率p(vj/ui)也就是一种失真算法，有时又把p(vj/ui) 称为试验信道的转移概率。 I(U;V)就是信源通过编码器传输的信息速率。 试验信道 [例1] 离散对称信源变量U={u1,u2,…ur} ，接收变量V=  {v1,v2,…vs} ，r=s。定义单个符号失真度为： 这种失真称为汉明失真。汉明失真矩阵是一方阵，对角线上的元素为零，即： 对二元对称信源(s=r=2)，信源U={0,1}，接收变量V={0,1}。在汉明失真定义下，失真矩阵为： [例2] 删除信源。信源变量U={u1,u2,…ur} ，接收变量V=  {v1,v2,…vs} (s = r+1) 。定义其单个符号失真度为： 其中接收符号vs作为一个删除符号。 在这种情况下，意味着若把信源符号再现为删除符号vs时，其失真程度要比再现为其他接收符号的失真程度少一半。 若二元删除信源s ＝2，r＝3， U＝{0,1}，V＝{0,1 ,2} 。失真度为： d(0,0)=d(1,2)=0 d(0,2)=d(1,0)=1 d(0,1)=d(1,1)=1/2 除j=s以外所有的j和i 所有i [例3] 对称信源(s = r) 。信源变量U={u1,u2,…ur} ，接收变量 V= {v1,v2,…vs} 。失真度定义为： 若信源符号代表信源输出信号的幅度，这是一种以方差表示的失真度。它意味着幅度差值大的要比幅度差值小的所引起的失真更为严重，严重程度用平方来表示。 当 r=3时， U={0,1,2}，V={0,1,2} ，则失真矩阵为： 一般情况下根据实际信源的失真，可以定义不同的失真和误差的度量。另外还可以按其他标准，如引起的损失、风险、主观感觉上的差别大小等来定义失真度d(u,v)。 平均失真 保真度准则 若平均失真度 不大于所允许的失真D, 即 称为保真度准则 当信源q(u)固定, 单个符号失真度d(ui,vj)固定，选择不同的试验信道p(vj/ui), 相当于选择不同的编码方法。 D失真许可的试验信道 信息速率失真函