[工学]第2章-4离散序列的熵.pptVIP

信源与信息熵 第二章 2 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 内容 3 2.3 离散序列信源的熵 4 离散无记忆信源的序列熵 设信源输出的随机序列为 XL =(X1X2…Xl…XL) 序列中单个符号变量Xl∈{x1,x2,… xn} 设一个单符号离散无记忆信源的概率空间为 则信源X的L次扩展信源是具有q=nL个符号的离散信源，其L重概率空间为 5 随机序列的概率为 6 离散无记忆信源的序列熵 当信源无记忆时 信源的序列熵 7 离散无记忆信源的序列熵 若又满足平稳特性,即与序号l无关时： 信源的序列熵 平均每个符号(消息)熵为 8 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 即用 1比特就可表示该事件。 如果以两个符号出现(L=2的序列)为一事件，则随机序列X∈(00,01,10,11)，信源的序列熵 即用2比特才能表示该事件。 信源的符号熵 9 例:有一离散平稳无记忆信源 求：二次扩展信源的熵 X2信源 的元素 a1 a2 a3 a4 a5 a6 a7 a8 a9 对应的 消息序列 x1x1 x1x2 x1x3 x2x1 x2x2 x2x3 x3x1 x3 x2 x3 x3 概率p(ai) 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16 10 平均每个符号(消息)熵为 信源的序列熵 方法二：因为是无记忆离散序列信源 11 离散有记忆信源的序列熵 对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论: 当前后符号无依存关系时,有下列推论： 12 若信源输出一个L长序列,则信源的序列熵为 平均每个符号的熵为： 若当信源退化为无记忆时: 若进一步又满足平稳性时 13 a0 a1 a2 a0 9/11 2/11 0 a1 1/8 3/4 1/8 a2 0 2/9 7/9 例已知离散有记忆信源各符号的概率空间为: 现信源发出二重符号序列消息（ ai aj ）,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表 p(aj|ai) 求离散信源的序列熵和平均每个符号的熵? 14 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(aiaj)如表 a0 a1 a2 a0 1/4 1/18 0 a1 1/18 1/3 1/18 a2 0 1/18 7/36 单符号信源X的信息熵为 条件熵 H(X2| X1)＜H(X) 信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。 15 联合熵H(X1X2)表示平均每二个信源符号所携带的信息量。 我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为: 符号之间存在关联性 发二重符号序列的熵 比较 16 离散平稳信源 对于离散平稳信源,有下列结论： ⑴ 条件熵H (XL|XL-1) 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。 17 ⑶ HL(X)是L的单调非增函数 HL(X)≤HL-1(X) ⑷对于信源，极限熵存在 H∞称为平稳信源的极限熵或极限信息量 logn≥H1(X)≥H2(X)≥…≥H∞(X) ⑵ L给定时,平均符号熵≥条件熵： H L(X)≥H (XL|XL-1) 18 按上述公式计算极限熵是十分困难的。 平稳离散信源输出序列的相关性随着L的增加迅速减小时，其序列熵的增加量H(XL/XL-1)与相关性有关，相关性很弱，则H(XL/X1X2…XL-1)=H(XL/X2…XL-1),则增加量不再变小，所以平均符号熵也几乎不再减小。 马尔可夫信源，信源发出的符号只与前面的m个符号有关。 19 马尔可夫信源的信息熵 马尔可夫信源 对上式两边同取对数，并对 和si取统计平均，然后取负，可以得到： 20 21 齐次、遍历的马尔可夫信源的熵 是马尔可夫链的平稳分布 表示处于某一状态si时发出一个消息符号的 平均不确定性. 对状态si的全部可能性作统计平均,就可以得到马尔可夫信源的平均符号熵 22 s2 s3 1/0.6 1/0.2 0/0.5 s1 1/0.5 1/0.1 0/0.9 例三状态马尔可夫信源 0/0.8 23 24 2.5 冗余度 25 冗余度 冗