信息论基础A概述.ppt

小结： 马尔科夫信源的定义与数学描述： 关联长度，符号与状态，状态转移，稳态概率，稳态符号概率，稳态信息熵。 N阶马尔科夫信源的极限熵： N阶马尔科夫信源的极限熵等于N阶条件熵，即稳态信息熵。 1.2.5 信源的相对信息率和冗余度 提问:实际信源发出消息，信息含量有多少？ 信源每个符号最大可以荷载的信息量是 H0 logm，但是只有等概信源的信息熵才可达到这个最大值。 实际信源由于非等概和有记忆两个原因，其信息熵H∞远小于H0 ，表明平均每个符号的实际信息荷载量都没有达到最大，存在着信息含量不饱满的现象。 以英语为例，26个字母加上空格，共27个符号，最大熵H0 log27 4.76（比特/符号）。然而各个字母在文章中出现概率是不同的，百分比见下表所示： a b c d e f g h i 6.42 1.27 2.18 3.17 10.31 2.08 1.52 4.67 5.75 j k l m n o p q r 0.08 0.49 0.32 1.98 5.74 6.32 1.52 0.08 4.84 s t u v w x y z 空格 5.14 7.96 2.28 0.83 1.75 0.13 1.64 0.05 18.59 由表不难算出：H1 H X 4.03（比特/符号）。 在一阶和二阶马尔科夫信源近似下，有人曾求得：H2 3.32 比特/符号 ，H3 3.10 比特/符号 。 如果再计及词法、句法、语法、修辞等的制约，计入更高阶的关联，极限熵被估计为H∞ 1.4（比特/符号）。 H0代表平均每个英文符号最多所能承载的信息量。 H∞代表英语文章中平均每个信源符号实际所荷载的信息量。拥有27个符号的英文信源，平均每个符号是有能力荷载4.76比特信息的，但实际上它们每符号却只承载着 1.4比特的信息。 为了描述这种信息率不饱满的情况，定义： 相对信息率： μ H∞/H 0 信源冗余度（或剩余度）：γ 1-μ 来反映信源实际所含信息的饱满程度。 对于英文， μ 0.29， γ 0.71， 表明冗余是比较 大的。 凡是信息熵没有达到最大值，就是存在冗余。 这种信息率不饱满的情况在各种信源中普遍存在。 汉语也有类似的情况，对10000个通用汉字统计结果如下： 最常见的只有140个，出现概率50%； 较常见的485个，出现概率35%； 一般性的1775个，出现概率14.7%； 不常见的7600个，出现概率0.3%。 由此算出：H0 log10000 13.29（bit /汉字） H1 10.25（bit /汉字） 仅算到H1 ： μ 0.77， γ 0.23 课后复习题 思考题： 哪些因素影响信源消息序列的平均符号熵？为什么序列越长，平均符号熵越小？ 作业题： 教材第31页习题一第6、9题； * 洛必达法则。 H X1X2……XN -∑p x1x2……xN log p x1x2……xN 其中第一项: 第二项: 第三项: 第N 项: ∴ H X1X2……XN H X1 + H X2|X1 + H X3|X1X2 + …… + H XN|X1X2……XN-1 性质1：条件熵不大于无条件熵，强条件熵不大于弱条件熵。 H X1 ≥ H X2|X1 ≥ H X3|X1X2 ≥ … …… ≥H XN|X1X2……XN-1 对无记忆信源，取等号 理由：有条件约束相当于自由度减少，即不确定性的减少，而熵是平均不确定性的度量。 有记忆信源的信息熵的性质 利用詹森不等式： H X1 ≥ H X2|X1 的证明: 现在视pi为p x1 ，yi为 p x2|x1 ，f yi 为 –yi log yi ， 求和是对i（即x1）进行,则不等式: 左边： 右边： 但： 所以： 代回： 两边再对j（即x2）求和，即得：H X2|X1 ≤ H X2 对平稳信源H X1 H X2 ,所以： H X1 ≥ H X2|X1 得证。 性质2：条件熵不大于相应的平均符号熵。 H1 H X H2 ≥ H X2|X1 一阶条件熵 H3 ≥ H X3|X1X2 二阶条件熵 … ≥ … HN ≥H XN|X1X2……XN-1 N-1阶条件熵 定义平均符号熵HN H X1X2……XN /N，则有 性质3：序列越长，平均符号熵就越小。 H1 ≥ H2 ≥ H3 ≥ …… ≥H N 不妨以N 2的序列“X1X2”来证明： 因： H X1X2 H X1 +H X2|X1 且： H X1 ≥