第二章 信源熵 信息论和 与编码 课件.pptVIP

苗立刚 ligangmiao@ 实验楼417 电话8048018;第二章 信源熵;2.1单符号离散信源;2.1单符号离散信源;概率复习;例3：设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用 来表示晴天，以 来表示雨天，则我们的信源模型如下： ; 联合自信息量(两个随机事件); 条件自信息量（两个随机事件）; 互信息量(两个随机事件); 信源发出消息 的概率 称为先验概率，信宿收到 后推测信源发出 的概率称为后验概 率 。 定义 的后验概率与先验概率比值的对数为 对 的互信息量，用 表示，即 互信息量等于自信息量减去条件自信息量。 第三种表达方式：;[含义]互信息I(xi;yj) = 自信息I(xi) - 条件自信息I(xi/yj) (1) I(xi)——信宿收到yj之前，对信源发xi的不确定度 (2) I(xi|yj)——信宿收到yj之后，对信源发xi的不确定度 (3) I(xi;yj)——收到yj而得到(关于xi )的互信息 =不确定度的减少量 [性质] (1) 对称性——I(xi ;yj) = I(yj ;xi) (2) X与Y独立时——I(xi ;yj) = 0 (3) I(xi;yj) 可为正、负、0 (4) I(xi;yj)=I(xi); I(xi;yj)=I(yj);I(xi;yj) 可为正、负、0的举例 设yj代表“闪电”，则 当xi代表“打雷”时，I(xi|yj) = 0，I(xi;yj) = I(xi)＞0 当xi代表“下雨”时，I(xi|yj) ＜I(xi)，I(xi;yj)＞0 当xi代表“雾天”时，I(xi|yj) = I(xi)，I(xi;yj)= 0 当xi代表“飞机正点起飞”时，I(xi|yj)＞I(xi)，I(xi;yj) ＜0 ; 条件互信息量(三个随机事件); 平均自信息量(信源熵)---随机变量;例：天气预报，有两个信源;例：设某信源输出四个符号，其符号集合的概率分布为： 则其熵为：;例：电视屏上约有 500 × 600= 3×105个格点，按每点有10个不同的灰度等级考虑，则共能组成n=103x105个不同的画面。按等概率1/103x105计算，平均每个画面可提供的信息量为 ;熵函数的数学特性;性质2：对称性 ;性质4：可加性 ;性质6：确定性 ; 设f(X)=f(x1,x2,…,xn)为一多元函数。若对于任意一个小于1的正数 （0 1）以及函数f(x)定义域内的两个任意矢量X1,X2有 f[ X1+(1- )X2]= f(X1)+(1- )f(X2) 则称f(X)为定义域上的上凸函数。 若“=”不成立，则为严格上凸函数 若“=”,则为下凸函数 若“”,则为严格下凸函数;0 0.2 0.4 0.6 0.8 1; 信源熵是从整个信源的统计特性来考虑的，它是从平均意义上来表征信源的总体信息测度的。对于某特定的信源（概率空间给定），其信源熵是一个特定的值。不同的信源因统计特性不同，其熵也不同。信源熵用以表征信息源的平均不确定性，平均自信息量是消除信源不确定性时所需信息的量度，即收到一个信源符号，全部解除了这个符号的不确定性。或者说获得这样大的信息量后，信源不确定性就被消除了。 ; 信源熵和平均自信息量两者在数值上相等，但含义不同。某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就必有信源的熵值；这熵值在总体平均上才有意义，因而是一个确定的值。而另一方面，信息量则只有当信源输出的符号被接收者收到后才有意义，信息量就是给予接收者的信息度量，该值本身可以是随机量，也可以与接收者的情况有关。;条件熵;条件概率;条件熵H(X/Y)是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是信道干扰所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。 如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。 条件熵H(Y/X)也是一个确定值,表示信源发出X后，信宿仍然存在的不确定度。这是由于噪声引起的。也称为噪声熵。;联合熵（共熵）;加权熵（自学）;从通信系统角度看熵的意义;各种熵的性质;证明：; 互信息量和平均互信息量;为什么需要定义平均互信息量？ 互信息量 是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一个具体消息 时，流经信道的信息量；此外 还是随