2011年信息论讲义2.ppt

收到某消息获得的信息量 ＝ 不确定性减少的量 ＝（收到此信息前关于某事件发生的不确定性）－ （收到此信息后关于某事件发生的不确定性） 信息论中“比特”与 计算机术语中“比特”区别 如果p(xi)=1/2，则I(xi)=1比特。所以1比特信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。信息论中“比特”是指抽象的信息量单位； 计算机术语中“比特”是代表二元数字； 这两种定义之间的关系是：每个二元数字所能提供的最大平均信息量为1比特。 联合自信息量 联合概率 联合自信息量 信源模型为 其中0≤p(xiyj)≤1 (i=1,2,…,n; j=1,2, …,m) 则联合自信息量为 当X和Y相互独立时，p(xiyj)=p(xi)p(yj)，则 性质： 条件自信息量 设yj条件下，发生xi的条件概率为p(xi /yj)，那么它的条件自信息量I(xi/yj)定义为 表示在特定条件下（yj已定）随机事件xi 所带来的信息量 同理，xi已知时发生yj的条件自信息量为 自信息量、条件自信息量和联合自信息量之间的关系 联合自信息量：例题 联合自信息量：例题 自信息： 指某一信源发出某一消息所含有的信息量。 所发出的消息不同,它们所含有的信息量也就不同。 自信息I (xi)是一个随机变量,不能用它来作为整个信源的信息测度。 习题 电视屏上约有 500 × 600 个格点，按每点有 10个不同的灰度等级考虑，求平均每个画面可提供的信息量。 电视屏上约有 500 × 600 个格点，按每点有 10个不同的灰度等级考虑，求平均每个画面可提供的信息量。 有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000 篇，按等概率1/100001000计算，平均每篇千字文可提供的信息量为 H(X) ＝log2N ＝4 × 103 × 3.32 ≈ 1.3 × 104 比特/千字文 按条件极值的数学求解方法，做辅助函数 （约束条件 ) F(p1,p2,…pn) = H(p1,p2,…,pn)+λ[∑pi–1] = -∑pi㏒pi +λ[∑pi –1] 其中，λ为待定常数。 对辅助函数F(p1,p2,…pn)中的n 个变量pi（i=1,2,…,n）分别求偏导，并置之为零，得n个稳定点方程 -（1+ ㏒pi）+λ=0 （i=1,2,…,n） 由稳定点方程 -（1+ ㏒pi）+λ=0 （i=1,2,…,n） 可解得 pi=2(λ-1) （i=1,2,…,n） 将上式代入约束方程，有 ∑pi =∑2 (λ-1)=n? 2(λ-1)=1 即得 2(λ-1)=1/n 解得使熵函数H(p1,p2,…pn)取得条件极大值，即熵函数H(p1,p2,…pn)的最大值的信源符号xi（i=1,2,…,n）相应的概率分布 pi=1/n 由此，求得熵函数的最大值 H0(p1,p2,…pn)=H(1/n,1/n,…,1/n) = –∑1/n㏒1/n =㏒ n 在一般情况下，离散信源的熵函数不会超过上式所示的最大值，即有 H(p1,p2,…pn) ≤㏒ n 证明 证明： ★1 证明最大离散熵定理 设离散信源X中包含有n个不同的离散消息，对信源熵H(X)有 H(X) ≤log2n 当且仅当信源X中各消息为等概率分布时，等号成立。 第三节 信息熵的基本性质 ★1 证明最大离散熵定理 H(X) ≤log2n 当且仅当信源X中各消息为等概率分布时，等号成立。 第三节 信息熵的基本性质 思路一：自然对数性质 思路二：求条件极值，构造拉格朗日函数 性质6 ：可加性（联合熵小于等于信源熵之和） 1）强可加性 2）彼此统计独立的信源X和Y的联合信源的熵等于分别熵之和。 ★2 试证明 第三节 信息熵的基本性质 强可加性 性质7 ：条件熵小于等于无条件熵 条件熵小于等于无条件熵说明，已知Y时(完成了通信)，对X的不确定度一般应小于对Y一无所知时(通信