第二章 信息的度量 - 00.ppt

证明信息论不等式： 然后证明香农不等式： 证明香农不等式： 证明性质（8） 方法一 方法二 课堂练习——2.1 设信源为X={0，1}，P(0)=1/8。 （1）求信源的熵 （2）信源发出由m个“0”和(100-m)个“1”构成的序列，求序列的自信息量； （3）比较(1)(2)的计算结果 习题 P49： 2.2 P50：2.3 每帧电视图像可看成由3×105个独立变化的像素组成的，每个像素又取128个不同的亮度电平，并设亮度电平是等概出现的。 （1）问每帧图像含有多少信息量？ （2）现假设有一个广播员，在约10000个汉字中选取1000个字来口述这一电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概分布，并彼此无依赖） ？ （3）要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？ 哪一幅图片给出的信息量大？ 数据量：256×256×8/8/1024=64KB 符号 （灰度级） 概率 0 0.0085297 17 0.020828 34 0.018951 51 0.01886 68 0.045258 85 0.045059 102 0.047852 119 0.059647 136 0.0681 153 0.07132 170 0.083221 187 0.089493 204 0.089188 221 0.10374 238 0.11366 255 0.11629 H=3.76bit/sign H=0 bits/sign 2.5 联合熵和条件熵 对联合自信息量和条件自信息量进行统计平均，可分别得出联合熵和条件熵 2.5.1 联合熵 一、概念：联合随机变量XY的熵，记为H(XY）。 二、推广 2.5.2 条件熵 一、概念：条件自信息量I(xk|yj)的统计平均，记为H(X|Y) 对H(Y | X)可以类似定义。 二、计算式 1、求出给定条件Y=yj下有关X的平均不确定 2、对熵H(X|Y=yj)关于Y求统计平均 三、物理意义 1、H(X|Y=yj)：收到符号yj（系统完成了一次信号传送）后有关X的平均不确定性 2、H(X|Y)：对信道输出Y进行统计平均（信道完成了多次符号传送）后，有关X的后验平均不确定 3、H(Y|X)：平均的干扰信息 2.5.3 各类熵之间的关系 1、各自信息量之间的关系 2、对上式左右取统计平均 同理可得： 即： 当X、Y彼此无关时， 进一步推广： 记Xn＝X1X2…Xn，得浓缩形式： 2.6 平均互信息量及其性质 一、概念：互信息量I(xk;yj)的统计平均，记为I(X;Y). 二、计算式： 上式也表明， I(X;Y)是统计平均意义下的先验不确定与后验不确定之差 三、单位：bit/信道单位或bit/信道符号 四、说明 若观察过程理想，即后验不确定完全消除，H(X|Y)=0,从观察结果Y中获得的信息I(X;Y)就是实在信息I(X),那么 这说明，信源X实际包含的信息I(X)在数值上等于熵H(X) 五、平均互信息量的性质 1、互易性：I(X;Y)= I(Y; X) 2、非负性：I(X;Y) ≥0 等号成立的充要条件是X与Y统计独立，物理意义是：两个独立的随机实验，其中任一随机实验的结果不会提供另一个随机实验的任何信息。 证明： 推论： 条件熵不会大于无条件熵，增加条件只能使不确定性减小，不会增大不确定性； 推广：条件多的熵不会大于条件少的熵 3、有界性 可由熵和平均互信息量的非负性证明。 意义：从Y（或X）中得到的关于X（或Y）的信息，不会多于X（或Y）自身的实在信息。 六、 各种熵之间的关系 无条件熵 平均互信息 联合熵 条件熵 图 示 关 系 符号 名称 条件熵 2.7 离散无记忆信源的扩展 一、N次扩展信源 对于离散无记忆信源X，考虑任意N个相邻时刻的输出随机变量XN=X1X2…XN，把XN看作一个新的DMS的输出，这个信源，记为XN，称为X的N次扩展信源。 二、熵 因X无记忆，所以Xn独立同分布，故XN的熵为 三、说明：X和XN是两种不同的模型，描述的却是同一信源。 X描述信源单个符号的统计特性， XN描述信源长度为N的符号串的统计特性 例 2.7 设有离散无记忆信源X＝[x1,x2]，P(x1)=p （1）求[X2,PX2]和[X3,PX3]； （2）当p=1/2时，计算H[X3]. 解（1）首先求二次和三次扩展信源的符号表，结果为： 二次扩展信源的概率空间为： 三次扩展信源的概率空间为： （2）解法一：直接利用三次扩展信源的概率空间求熵，当p＝1/2时，q=1/2,概率空间为： 解法二：利用扩展信源与原信源熵的关系 2.8 离散有记忆信源的熵 一、N阶平稳信源的熵为联合熵 二、对于离散有记忆信源，一般考虑其极限熵 三、熵的性质