第二章无失真信源编码.ppt

Th3.2：对于固定信源分布，平均互信息I(X;Y)是信道传递概率p(y|x)的∪型凸函数。※不同信源通过不同信道传输得到的平均互信息不同；?5．??凸状性Th3.1：对于固定信道，平均互信息I(X;Y)是信源概率分布p(x)的∩型凸函数。平均互信息是信源符号概率分布的上凸函数平均互信息是信道转移概率的下凹函数（三）平均互信息的性质第29页，共43页，星期日，2025年，2月5日?例1．?分析二元信源通过BSC信道的I(X;Y)特性信源：，信道：1－p1－ppp0011则（三）平均互信息的性质第30页，共43页，星期日，2025年，2月5日其中，?（三）平均互信息的性质第31页，共43页，星期日，2025年，2月5日第1页，共43页，星期日，2025年，2月5日第二章无失真信源编码无失真编码：保证信源产生的全部信息无失真地传递给信宿。（只有对离散信源可以实现无失真信源编码。）实质上是一种概率匹配编码。限失真信源编码：在确定标准和准则的条件下，信源所必须传递的最小信息量。也称信息率失真函数（限定波形失真——波形编码，限定特性参量失真——参量编码）。第2页，共43页，星期日，2025年，2月5日第二章无失真信源编码信源中的统计多余度主要取决于以下两个主要因素：一是消息概率分布的非均匀性，另一个是消息间的相关性。对无记忆信源主要取决于概率分布的非均匀性，但是，对于有记忆信源，两者都起作用，且相关性更加重要。第3页，共43页，星期日，2025年，2月5日第二章无失真信源编码统计匹配编码：是根据信源的不同概率分布而选用与之相匹配的编码，以达到的系统同中传信速率最小，且满足在信宿复制时无失真或低于某一允许的失真限度值。第4页，共43页，星期日，2025年，2月5日2．1信息量、熵和互信息量时间发生的概率越小，不确定性就越大，给人的信息量就越小；发生的概率越大，不确定性就越小，给人的信息量就越大。第5页，共43页，星期日，2025年，2月5日条件概率联合概率必须掌握的概率论知识第6页，共43页，星期日，2025年，2月5日必须掌握的概率论知识全概率：设B1,B2,…是一列互不相容的事件(BiBj=0），且有B1∪B2∪…=Ω（样本空间）；p（Bi）＞0，i=1，2，…，则对任一事件A，有：第7页，共43页，星期日，2025年，2月5日必须掌握的概率论知识4)Bayes公式:设B1,B2,…是一列互不相容的事件(BiBj=0），且有B1∪B2∪…=Ω（样本空间）；p（Bi）＞0，i=1，2，…，则对任一事件A，有：第8页，共43页，星期日，2025年，2月5日一个离散无记忆信源是由n个符号消息组成的集合:X={x1，x2···xn}，这n个符号消息的概率分布为了：称为符号xi的先验概率,散信源数学模型表示为：称为概率空间,其中从概率的角度看，可以将符号消息xi看一个随机事件。因此xi具有不确定性。2．1信息量、熵和互信息量信息量定义：第9页，共43页，星期日，2025年，2月5日2．1信息量、熵和互信息量信息量定义：美国科学家L.V.R.Hartley于1928年给出了信息的度量方法。定义若信源发出一符号xi，由于信道存在干扰，收到的不是xi而是yi，从yi中获取有关xi的信息量用I(xi；yi)表示，称为互信息量。?定义上述情况，若信道无干扰，收到的就是xi本身，这样I(xi；yi)就可以用I(xi；xi)表示，或简单记作I(xi)，并称为自信息量。第10页，共43页，星期日，2025年，2月5日一、自信息量1)函数I(xi)的属性1o若有两个事件xi，xj，其先验概率为p(xi)＜p(xj)，则事件xi比事件xj有更大的不确定性，同时会带来更多的信息量；I(xi)I(xj)2o事件xi先验概率p(xi)=1（确定事件）,则不存在不确定性，同时不会带来信息量；I(xi)=0.3o事件xi先验概率p(xi)=0（不可能事件）,则存在不确定性应为无穷大，同时会带来无穷的信息量