第8次课ch4率失真-.pptVIP

4.4 连续信源的R(D)函数 1.定义 X?R, Y ?R, p(x), p(y)记为p, q(y)；失真函数 d(x,y) 平均失真 互信息 令p(y/x) ?PD , 则 定义: Inf (infimum)下确界 连续函数集中可能不存在极小值，但存在下确界。 连续信源的率失真函数仍满足性质： 在 内严格递减。 R(D)函数的计算仍是求极值的问题，同样可用拉格朗日乘子法。 某些特殊情况下R(D)的表示式为： (2)当d(x,y)=|x-y|， 时， (3)当d(x,y)=?(x,y)，p(x=0)=p，p(x=1)=1-p时， R(D)=H(p)－H(D) (1) 当d(x,y)=(x-y)2， 时， 这些R(D)可画成三条曲线 0 Dmax D R(D) H (3) (1) (2) 信息率失真函数R(D) 第4章复习 失真函数 平均失真 信息率失真函数R(D) Dmin＝0， 信道容量C 率失真函数R(D) R(D)与C的比较 研究对象 信道 信源 给定条件 信道转移概率p(yj/xi) 信源分布p(xi) 选择参数 信源分布p(xi) 信源编码器编码方法p(yj/xi) 限制条件 结论 I(X;Y)= H(X)-H(X/Y) 噪声干扰消失的信息量H(X/Y) 压缩损失的信息量H(X/Y) 问题的提出 对于通信系统，如何提高通信的有效性和可靠性？----编码 理论上计算所得的最大或最小信息率(信道容量C、率失真函数R(D))是否能达到或逼近? 讨论内容： 编码分为信源编码和信道编码，其中信源编码又分为无失真和限失真。 无失真离散信源编码定理(定长/变长) 限失真信源编码定理 信道编码定理 第5章　编码定理 第5章 编码定理 5.1 无失真离散信源编码定理 5.2 限失真信源编码定理 5.3 信道编码定理 5.4 联合信源信道编码定理 信源存在冗余度 原因是信源符号之间存在概率分布不均匀和相关性。 信源编码的主要任务就是减少冗余，提高编码效率。 信源压缩编码的基本途径有两个： 使序列中的各个符号尽可能地互相独立，即解除相关性； 使编码后各个符号出现的概率尽可能地相等，即概率均匀化。 5.1无失真离散信源编码定理 信源编码的作用可归纳为： (1) 符号变换：使信源的输出符号与信道的输入符号相匹配； (2) 冗余度压缩：使编码效率等于或接近100％。 5.1无失真离散信源编码定理 将信源消息分成若干组，即符号序列xi， xi＝(xi1xi2…xil…xiL)， xil?A={a1，a2，…，ai，…，an} 每个符号序列xi依照固定码表映射成一个码字yi， yi＝(yi1yi2…yil…yiL)， yil?B={b1，b2，…，bi，…，bm} 这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。 信源 编码器 信道 码表 5.1.1 基本概念 码可分为两类： 定长码:固定长度的码，码中所有码字的长度都相同; 变长码:可变长度码，码中的码字长短不一。 5.1.1 基本概念 码 奇异码 非分组码 分组码 非奇异码 非唯一可译码 非即时码 即时码(非延长码) 唯一可译码 信源符号ai 符号出现概率p(ai) 码1 码2 码3 码4 a1 1/2 0 0 1 1 a2 1/4 11 10 10 01 a3 1/8 00 00 100 001 a4 1/8 11 01 1000 0001 第8次课 3.4连续信道及其容量 3.4.1 连续单符号加性信道 3.4.2 多维无记忆加性连续信道 3.4.3 限时限频限功率加性高斯白噪声信道 回顾 C＝1/2 log(1+SNR) 噪声均值为零、方差不同， 总平均功率受限P， 用注水法分配功率。 无失真时：R=H(X) 有失真时：R=R(D)=H(X)－H(X/Y)?H(X) H(X/Y)：由于压缩编码损失的信息 回顾 信源编码器 H(X) R 信源 4.2 信息率失真函数的性质 R(D)函数的定义域 ⑴ Dmin和R(Dmin) Dmin＝0 ，无失真 对于连续信源 讨论 何时Dmin=0? 只有当失真矩阵中每行至少有一个零元素。 何时R(