第四章 信息率失真函数 信息论和 与编码 课件.pptVIP

苗立刚 ligangmiao@ 实验楼417 ;4.1 基本概念; 信息率失真理论——香农于1959年在《保真度准则下的离散信源编码定理》中提出。定义了信息率失真函数R(D),明确提出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)值。 信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。; 若固定P(X)，改变P(Y/X) 得I(X;Y)最小值。 当p(bj|ai)=p(bj) 时，即X和Y相互统计独立，该最小值等于零。这样求得的极小值就没有任何意义，因为信道不能传递任何信息，或者信源的信息全部损失掉了。 如果限定一个失真度，则在失真度一定的情况下(小于信源熵)，求信息率的极小值就具有非常重要的意义，它需要的信道资源最小。 ; 失真函数与平均失真度;例：设信源符号序列X=[0,1]，接收端收到的符号序列为 Y=[0,1,2],规定失真函数为：;(1);4.1 基本概念;(2)最常用的失真函数及其适用性 均方失真函数,绝对失真函数, 相对失真函数适用于连续信源; 误码失真函数适用于离散信源。 (3)失真函数困难性比较 均方失真和绝对失真只与(ai-bj)有关，而不是分别与ai及bj有关，在数学处理上比较方便；相对失真与主观特性比较匹配，因为主观感觉往往与客观量的对数成正比，但在数学处理中就要困难得多。 ; 平均失真度;4.1 基本概念; 离散无记忆信道的N次扩展信道 输入序列XN=X1X2…XN N位,每位n种,共有nN种序列 输出序列 YN=Y1Y2…YN N位,每位m种,共有mN种序列 (1)输入序列 和输出序列 之间的失真函数 (2)N次离散无记忆扩展信源和扩展信道的平均失真度——是单符号时的N倍;例：设离散矢量信源N=3,输出矢量序列为X=X1X2X3,其中Xi,i=1,2,3的取值为{0,1}；经信道传输后的输出为Y=Y1Y2Y3，其中Yi,i=1,2,3的取值为{0,1}。定义失真函数为：; 信息率失真函数;信息率失真函数的定义; 对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其信息率失真函数为:;三、率失真函数与信道容量的比较; 信息率失真函数R(D)的性质; 因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只能为0。因此，Dmax是满足R(D)=0的所有平均失真度D中???小值。 令试验信道特性p(bj|ai)=p(bj)(i=1,2,…,n),则X和Y相互独立，等效于通信中断，必有I(X,Y)=0,即R(D)=0。 对满足p(bj|ai)=p(bj)的所有试验信道， 计算平均失真度，其最小值即为Dmax;[例]离散二元信源 ，求Dmax;率失真函数R(D)的定义域为(Dmin, Dmax)。一般情况下: ;结论: 1. R(D)是非负函数； 定义域0～Dmax , 值域0～H(X) 2. R(D)是单调不增、下凸的连续函数 3.意义:对规定的失真D*，可算得R(D*)，于是 (1) R(D*)是理论极限—— 为满足D≤D*，实际R≥R(D*) (2) 压缩比极限——K=H(X)/R(D*); 离散信源信息率失真函数的参量表达式;4.2离散信源的信息率失真函数;两边除以p(ai), 并令;4.2离散信源的信息率失真函数;4.2离散信源的信息率失真函数;4.2离散信源的信息率失真函数;两边对S为求导;两边乘以p(bj)并对j求和，可得;[S(D) ～D曲线性质] ①由于R(D)的严格递减和下凸性，斜率为负——S(D)＜0 ②单调递增—— dS(D)/dD＞0 ③Smin→-∞ ，D=0处R(D)的斜率 ④当D→Dmax时， Smax多为某一负值，最大值为0。然后在Dmax点处，S曲线突跳到零。 ;4.2离散信源的信息率失真函数;(2) 计算S和Smax;4.2离散信源的信息率失真函数;4.2离散信源的信息率失真函数;4.2离散信源的信息率失真函数;由;由;4.2离散信源的信息率失真函数;对于二元信源呈等概率分布时;对于n元信源呈等概率分布时;4.2离散信源的信息率失真函数;4.2离散信源的信息率失真函数;1.产品未经检验全部出厂 p(y1/x1) = p(y1/x2) = 1 p(y2/x1) = p(y2/x2) = 0 [结论]产品未经检验全部出厂引