《信息论基础——熵.pptVIP

熵、联合熵、条件熵 目标 理解各种熵的概念; 掌握离散信源各种熵的基本性质 回顾（1） 回顾（1） 例1：设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用 来表示晴天，以 来表示雨天，则我们的信源模型如下： 回顾（2） 说明 自信息量I(x1 )和I(x2 )只是表征信源中各 个符号的不确定度，一个信源总是包含着 多个符号消息，各个符号消息又按概率空 间的先验概率分布，因而各个符号的自信 息量就不同。所以自信息量不能作为信源 总体的信息量。 说明 说明 作业相关 人口问题：在某个地区，一对夫妻只允许生一个孩子，可是这里所有的夫妻都希望能生个男孩传宗接代，因此这里的夫妻都会一直生到生了一个男孩为止，假定生男生女的概率相同．问： (1)这个地区男孩会多于女孩吗？ (2)一个家庭孩子的个数用离散随机变量X表示，计算X的熵 解： ①假定一个家庭里有k个女孩，1个男孩，相应的概率是0.5k * 0.5，因此女孩的平均数是 ，女孩的平均数与男孩的平均数相等。 ② 习题相关 设离散无记忆信源 其发生的消息为（202120130213001203210110321010021032011223210） (1)此消息的自信息是多少? (2)在此消息中平均每个符号携带的信息量是多少? 习题相关 解： (1)因为离散信源是无记忆的，所以其发出的消息序列中各符号是统计独立的。因此，此消息的自信息就等于消息中各个符号的自信息之和!根据题意，可得 习题相关 新授课 联合熵与条件熵 熵、联合熵与条件熵 信息熵的基本性质 新授课 联合熵与条件熵 熵、联合熵与条件熵 信息熵的基本性质 联合熵与条件熵 联合熵与条件熵 例题 已知二维随机变量 的联合概率分布 为 求 新授课 联合熵与条件熵 熵、联合熵与条件熵 信息熵的基本性质 熵、联合熵与条件熵 H（X，Y）＝H（X）＋H（Y／X） H（X，Y）＝H（Y）＋H（X／Y） 熵、联合熵与条件熵 所以 熵、联合熵与条件熵 证明: 由 熵、联合熵与条件熵 新授课 联合熵与条件熵 熵、联合熵与条件熵 信息熵的基本性质 新授课 联合熵与条件熵 熵、联合熵与条件熵 信息熵的基本性质 1、对称性： H(P) 的取值与分量 p1, p2 , ··· , pq的顺序无关。 说明： 从数学角度： H(P)=? pi · log pi 中的和式满足交换率； 从随机变量的角度：熵只与随机变量的总体统计特性有关。 信息熵的基本性质 一个例子： 2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0 性质说明：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号则是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。 信息熵的基本性质 信息熵的基本性质 信息熵的基本性质 判断题 1）H(X)0 ; 2）若X与Y独立，则H(X)=H(X|Y) ; 3) 如果H(X|YZ)=0,则要么H(X|Y)=0 , 要么H(X|Z)=0 ; 4）H(X|X)=0 ; 5）若X与Y独立，则H(X|Y)= H(Y|X) . 判断题 1）H(X)0 ; 2）若X与Y独立，则H(X)=H(X|Y) ; 3) 如果H(X|YZ)=0,则要么H(X|Y)=0 , 要么H(X|Z)=0 ; 4）H(X|X)=0 ; 5）若X与Y独立，则H(X|Y)= H(Y|X) . 作业 P22 T1 @（除I(X;Y)) T6 @ T1 @ H(X,Y)=1.825 H(X)=0.9183 H(Y)=1 T6 @ H(X,Y|Z)=H(X|Z)+H(Y|X,Z)≥H(X|Z) 当H(Y|X,Z)=0，即 Y是X、Z的函数时，原式等号成立。 有两个同时输出的信源X和Y，其中X的信源符号为{A，B，C }，Y的信源符号为{D，E，F，G }，已知 P(X )和P（Y|X），求联合信源的联合熵和条件熵。 电视屏上约有 500 × 600= 3 × 105个格点，按每点有 10个不同的灰度等级考虑，则共能组成n=103*10个不同的画面。按等概率1/103*10计算，平均每