[工学]信息论与编码清华出版社第4章信息率失真函数-Qtech1.pptVIP

(2) Dmax和R(Dmax) * 选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域的上限Dmax，即 因此可以得到R(D)的定义域为 Dmax是这样来计算的。R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj/xi)与xi无关。即 * 需要求出满足条件 的D中的最小值 ，即 * 此时平均失真为 从上式观察可得：计算可找到 的最小值，令该最小值对应的pj＝1，而其余pj为零时，上式右边达到最小，这时上式可简化成 * 注: (1)当失真矩阵的每一行至少有一个零元素时（每一列最多只有一个值为0 ）. (2)信息率失真函数有 例4-3 设输入输出符号表为X＝Y?{0，1}，输入概率分布p(x)={1/3，2/3}，失真矩阵为 * * 当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，这时信源编码器无失真，所以该编码器的转移概率为 * 当R(Dmax)＝0时 此时输出符号概率p(b1)＝0，p(b2)＝1， 所以这时的编码器的转移概率为 2、R(D)函数的下凸性和连续性（证明从略） 下凸性：设函数f(x)定义在某区间 上，对于任意的x1,x2以及任意的 ，有 凸函数的图象称为凸曲线。下凸曲线的任意一段弧都不在这段弧所对弦的上方；(上凸曲线的任意一段弧都不在这段所对的弦的下方) 连续性： R(D)函数在0～Dmax之间具有连续性。 * 3、R(D)函数的单调递减性 容许的失真度越大，所要求的信息率越小。反之亦然。 * 综上所述，可以得出如下结论： R(D)是非负的实数，即R(D) ? 0。其定义域为0～Dmax，其值为0～H(X)。当DDmax时， R(D) ? 0。 R(D)是关于D的下凸函数，因而也是关于D的连续函数。 R(D)是关于D的严格递减函数。 由以上三点结论，对一般R(D)曲线的形态可以画出来： * R(D) H(X) R(D) 0 D Dmax D R(D) 0 Dmax D 信息率失真曲线 （a）离散系统 （a）连续系统 信息率失真函数与信道容量的比较 信道容量C 信息率失真函数R(D) 研究对象 信道 信源 给定条件 信道转移概率p(y|x) 信源分布p(x) 选择参数 信源分布p(x) 信源编码器映射关系p(y|x) 结论 噪声干扰消失的信息量H(X|Y) 压缩损失的信息量H(X|Y) * 已知信源的概率分布P(a)和失真函数d(a,b)，离散信源的R(D)函数是选取试验信道 满足 的约束条件下，求平均互信息 的极小值。 4.2 离散信源和连续信源的R（D）计算 实际计算比较困难，只能用迭代逐级逼近法求解。 4.2 离散信源和连续信源的R（D）计算 某些特殊情况下R（D）的表示式为： （1）当d(x,y)=(x-y)2， （均方失真） 时， * (2)当d(x,y)=|x-y|， 时（绝对失真） ， * (3)当d(x,y)=?(x,y)，p(x=0)=p，p(x=1)=1-p时（误码失真） ， R(D)=H(p)－H(D) 这些R（D）可画成三条曲线 * 0 Dmax D R(D) H (3) (1) (2) 信息率失真函数R(D) 三条曲线都有最大失真值Dmax,对应于R(D)=0； 上述三种情况的Dmax分别为 例4-2-1 设输入输出符号表为X＝Y?{0，1}，输入概率分布p(x)=(p，1-p)，0p?1/2，失真矩阵为 求信息率失真函数R(D)。 * P1=P(0)=P, P2=P(1)=1-P, q1=P(y1), q2=P(y2) (1)由上面第一个公式计算 解：引入记号： 解方程得 : 代入 (2)由计算公式②计算q1,q2 已知P1=P(0)=P, P2=P(1)=1-P 已知:q1=P(y1) q2=P(y2) 解方程且i=j时，dij=0则 （3）将求出的 代入公式③④得: 求s得: 由④式 * 0.1 0.2 0.3 0.4 0.5