第二章：信息论的基本概念 杨杰.pptVIP

上节课内容回顾 信息、信息科学与信息论 信息、信息技术、信息科学、信息理论 信息论研究的对象、目的和内容 信息论发展简史与现状 信息论的形成与发展 信息论方法的应用及其取得的成果 信息论的基本概念 杨杰 熵 熵的引入 香农熵与热力学熵的关系 熵可以作为信息的度量 熵函数的性质 联合熵和条件熵 考察、分析信息的特征 非负性 连续性 可加性 等概时与取值空间N的关系（单调增） 与发生的概率P的关系（单调减） 熵的引入 一个离散随机变量X，以不同的取值概率有N个可能取值, 熵的引入 香农指出：存在熵函数 满足先验条件 熵的单位 信息熵的单位与公式中的对数取底有关。通信与信息中最常用的是以2为底，这时单位为比特（bit）；理论推导中用以e为底较方便，这时单位为奈特（Nat）；工程上用以10为底较方便，这时单位为笛特（Det）。它们之间可以引用对数换底公式进行互换。比如： 1 bit = 0.693 Nat = 0.301 Det 香农熵与热力学中热熵的关系 熵 这个名词是仙农从物理学中的统计热力学借用过来的，在物理学中称它为热熵是表示分子混乱程度的一个物理量，这里，仙农引用它来描述信源的平均不确定性，含义是类似的。但是在热力学中已知任何孤立系统的演化，热熵只能增加不能减少；而在信息论中，信息熵正相反，只会减少，不会增加。所以有人称信息熵为负热熵。 二者还有一个重大差别：热熵是有量纲的，而香农熵是无量纲的。 熵可以作为信息的量度 对于随机变量而言： 试验前－－ 试验后－－ 对于单个消息随机变量U，出现某个消息，对应概率为 ，这时可获得的信息量为 ，则有： 解释： 小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。 大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。 例1.1: 试验前： 试验后： 例1.2: 试验前： 熵的物理含义 熵的物理含义 熵是随机变量的随机性的描述。 变量Y、Z等概，随机性大，变量X不等概，则随机性小 等概情况下，可取值越多，随机性越大 H（）是描述随机变量所需的比特数 熵是随机变量平均不确定性的描述 X试验中发生a1,获得的自信息为-log0.01=6.64(bit) Y试验中发生a1,获得的自信息为-log0.5=2.32(bit) H（）反映的是平均的不确定性 熵函数的性质 香农熵是概率矢量的非负的上凸函数 性质1：非负性 性质2：上凸性 性质3：唯一性（连续性、可加性、等概单调增） 熵函数的性质－－非负性 熵函数的性质－－非负性 熵函数的性质－－上凸性 在[a,b]上定义的下凸函数 在[a,b]上定义的上凸函数 熵函数的性质—上凸性 上凸性： 熵函数具有凸性，即H（P）是P的上凸函数。 证明：作业一 熵函数的性质 定理2.1 对于离散随机变量，当其可能的取值等概分布时，其熵达到最大值。即： 熵函数的性质－－唯一性 定理2.2 设离散随机变量的概密矩阵为 函数 是随机变量不确定性的量度，若此函数满足条件 连续性 等概时单调增函数性 可加性 则此函数必为 熵函数的性质－－唯一性 唯一性－－限制条件 联合熵与条件熵 物理含义： 已知一随机变量的情况下，对另一随机变量不确定性的量度 观测Y以后，仍保留的关于X的不确定量。 联合熵与条件熵 联合熵 物理意义：二元随机变量不确定性的量度 联合熵、条件熵的关系： 联合熵、条件熵的关系： 一般情况下 熵 熵的引入 香农熵与热力学熵的关系 熵可以作为信息的度量 熵函数的性质 联合熵和条件熵 离散互信息 定义：离散随机变量X和Y之间的互信息 离散互信息 和 是随机变量X和Y之间相互提供的信息量－－称为互信息是完全确切的 离散互信息 互信息函数的性质 互信息与p(x)(信道输入概率分布)的关系 性质1 ：I(p;Q)是p(x)的上凸函数. 互信息函数的性质 互信息与Q矩阵（信道转移概率分布）的关系 性质2 ：I(p;Q)是Q的下凹函数. 互信息函数的性质 互信息与随机变量X（信道输入符号）的相关性的关系 性质3: 若概率矢量p是离散无记忆的, 互信息函数的性质 互信息与随机变量Q（信道）相关性的关系 性质4: 若条件概率矩阵Q是离散无记忆的, 互信息函数的性