第二章 信息的度量 54页.pptVIP

Chapter 2信息的度量 信息的度量 信息的可度量性——统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念； 信息测度——熵概念是香农信息论最基本最重要的概念。 2.1 信源的数学模型及分类 符号 符号表 符号串 2.1 信源的数学模型及分类 离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。 数学模型： 连续信源：可能输出的消息数是无限的或不可数的，每次只输出一个消息。 数学模型： 有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。 离散平稳信源：输出的随机序列 中每个随机变量 取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变。 连续平稳信源：输出的随机序列 中每个随机变量 取值是连续的，并且随机矢量X的各维概率密度函数不随时间平移而改变。 2.2 信息的描述 先验概率 后验概率 信息=先验不确定性-后验不确定性 单符号离散信源的数学模型 离散信源只涉及一个随机事件，可用离散随机变量来表示。 单符号离散的数学模型 X，Y，Z代表随机变量，指的是信源整体； 代表随机事件的某一结果或信源的某个元素。不可混淆! 概率复习 2.3 不确定性与信息 2.3.1自信息量 定义 例2.1 假设一条电线上串联了8个灯泡 这8个灯泡坏的可能性是等概率的，现假设这8个灯泡有一个也只有一个灯泡已损坏，解决办法： 在未测量前，损坏的先验概率 这时存在的不确定性是先验概率的函数 第一次测量：将灯泡以4个为一组，分为两组，第一次测试之后可知坏的灯泡在哪一组中。 这时后验概率 因此尚存在的不确定性是 第一次测量获得的信息量为： 第三次测量获得的信息量： 自信息量I(ai)的性质 I(ai)是非负值； 当P(ai) =1时， I(ai)=0； 当P(ai) =0时， I(ai)= ∞ ； I(ai)是P(ai) 的单调递减函数 联合自信息量 信源模型(涉及两个随机事件) 联合自信息量 条件自信息量 条件概率对数的负值 在特定条件下( 已定)随机事件 发生所带来的信息量 定义 联合自信息量和条件自信息量也满足非负和单调递减性。 关系 当X和Y独立时， 例 甲在一个8*8的 方格盘上随意放入一个 棋子，在乙看来是不确定的。 (1)在乙看来，棋子落入某方格的不确定性为多少？ （2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？ 二.互信息量和条件互信息量 信源发出消息 的概率 称为先验概率，信宿收到 后推测信源发出 的概率称为后验概率 。 定义 的后验概率与先验概率比值的对数为 对 的互信息量，用 表示，即 互信息量等于自信息量减去条件自信息量。 第三种表达方式： 例2.4 甲在一个8*8的 方格盘上随意放入一个 棋子，在乙看来是不确定的。 （1）若甲告知乙棋子落入方格的行号，这是乙得到了多少信息量。 （2）若告知了行号与列号，乙又得到了多少信息量。 互信息的性质 对称性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值 条件互信息量 给定条件 下， 与 之间的互信息量，其定义式 可加性书25页 课堂疑问? 某地二月份天气构成的信源为 现有人告诉你:“今天不是晴天。”，把这句话作为收到的消息 。当收到消息 后，各种天气发生的概率变成后验概率了。其中 计算 与各种天气之间的互信息量。 三.信源熵 信源熵 定义：信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时也称为无条件熵或熵函数，简称熵。 公式： 熵函数的自变量是X,表示信源整体，实质上是无记忆信源平均不确定度的度量。 例2.5 有一布袋内放了100个球，红球80个，百球20个，若随意摸取一个球，猜测是什么颜色。 小结：信源熵和H(X)的三种物理含义 表示信源输出后，每个离散消息所提供的平均信息量。 表示信源输出前，信源的平均不确定度。 反映了变量X的随机性。 条件熵 条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随机变量Y的条件下，随机变量X的条件熵定义为： 条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。 联合熵（共熵） 联合离散符号集合XY上的每个元素对 的联合自信息量的数学期望。 公式： 2.1