第四章信息率失真函数.pptVIP

第四章信息率失真函数**第1页，共23页，星期日，2025年，2月5日第一节平均失真和信息率失真函数限失真信源编码：信源编码后有信息丢失，产生信号失真。在实际问题中,有一定的失真是可以容忍的（耳朵、眼睛的响应能力是有限的）。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。所以要规定失真限度，即所谓限失真信源编码。为此必须先有一个定量的失真测度，即失真度或失真函数。一、失真度1、单符号失真度编码：用信源Y的符号对信源X的符号重新表示（代替），以减少后续信道中的信息传输率。方法：使I(X;Y)H(X)(信息丢失，产生失真）。**第2页，共23页，星期日，2025年，2月5日在进行符号代替时，若符号xi=yj，认为无失真；否则，若xi≠yj，用yj代替xi产生了失真，失真程度用α表示。因而定义一个非负函数d(xi,yj)来衡量编码时用yj代替xi所引起的失真程度，称d(xi,yj)为单符号失真度。2、失真矩阵**第3页，共23页，星期日，2025年，2月5日4、符号序列失真函数（序列编码）3、常用失真函数均方失真函数：d(xi,yj)=(xi-yj)2绝对失真函数：d(xi,yj)=|xi-yj|适于连续信源相对失真函数：d(xi,yj)=|xi-yj|/|xi|误码失真函数：d(xi,yj)=**第4页，共23页，星期日，2025年，2月5日二、平均失真（数学期望）1、单符号离散信源2、单符号连续信源3、离散序列信源三、信息率失真函数1、限失真信源编码等效于试验信道编码时有意识地丢掉一些信息，相当于经过有干扰的信道传输后，信息量减少**第5页，共23页，星期日，2025年，2月5日2、率失真函数R(D)PD中一定有一种信道，使得I(X;Y)最小（为什么？）。定义R(D)为：3、率失真函数R(D)的物理含义**第6页，共23页，星期日，2025年，2月5日例题4-2加深理解压缩编码**第7页，共23页，星期日，2025年，2月5日四、信息率失真函数R(D)的性质1、R(D)的定义域[Dmin,Dmax]D=0时，失真度为0，编码未造成信息丢失，R(D=0)=H(X).**第8页，共23页，星期日，2025年，2月5日**第9页，共23页，星期日，2025年，2月5日m项中，必有使具有最小值的一项存在。那么，当该项的Pj=1而其它各项的Pj=0时，这m项之和具有最小值。且该最小值就是这一项的值。**第10页，共23页，星期日，2025年，2月5日**第11页，共23页，星期日，2025年，2月5日**第12页，共23页，星期日，2025年，2月5日2、R(D)的下凸性和连续性3、R(D)的单调递减性**第13页，共23页，星期日，2025年，2月5日第二节离散信源R(D)的计算**第14页，共23页，星期日，2025年，2月5日这与教材的结果一致。（注：见后面，几个方程没有来源）**第15页，共23页，星期日，2025年，2月5日例4-5设输人输出符号表为X＝Y={0,1}，输入概率分布P（x）＝{P,l一p}，0＜p，失真矩阵为求信息率失真函数R（D）。(1)按下式解方程写成矩阵形式解：简记解得：(2)按下式解方程**第16页，共23页，星期日，2025年，2月5日写成矩阵形式解得：(3)按下式得转移概率分布Pij写成矩阵形式**第17页，共23页，星期日，2025年，2月5日