第二章 信息的度量综述.pptVIP

第二章：信息的度量;第二章：信息的度量;第二章 信息的度量;Shannon,Weaver曾把信息理论划分为三个层次:①实用性层次(可用于各领域) ②实效性层次(研究信息产生传输的实际效果与效率问题) ③意义性层次(研究信息的意义和对信息的理解) 本课程只讨论客观信息的度量 ; 在信息论中,常把基本消息称为符号,基本消息集合就是符号集合或符号表,消息则是符号串。对认识主体而言,信源在某一时刻输出什么符号是随机的,可以用概率统计的方法加以处理。信源在各个时刻的输出组成了一随机变量输出序列: {Xtk;tk∈T} 式中T为时间参数集,Ex为Xtk的值域或取值空间。 ; 由此可将信源分为时间离散空间离散、时间离散空间连续、时间连续空间离散、时间连续空间连续四类。今后无特别声明,所说的信源都是时间离散信源(时间连续信源可经过时间采样转变为时间离散),后面所说的离散信源和连续信源,都是指取值空间的离散和连续。 ; 一般说来{Xtk}中各随机变量是统计相关的,所描述的信源称为有记忆信源。它的统计规律的描述是困难的,与实际信源较为接近的一种信源模型是平稳信源。(“记忆”长N)N维分布函数与时间起点无关: ; 最简单的一种信源是无记忆信源,这种信源的输出序列是一列统计独立的随机变量。;2.2 信息的描述 对于离散无记忆信源,其输出随机变量序列是独 立同分布的。考虑任一时刻的输出随机变量X,设 X取值于含有K个元素的符号集Ex={xk|k=1,2,…K} 设符号表中的概率为P(xk)≥0,k=1,2,…K为已知 将符号表和概率写在一起,称为概率空间: ; 在对信源进行观察前，对认识主体来说，信源存在先验的不确定性，它与信源的先验概率有关；观察以后信源还存在后验的不确定性，它与信源的后验概率有关，观察前后的概率变换为： PX→PX|Y;2.3 不确定性与信息 一般地,信源要发出的消息的状态应该存在某种程度的不确定性,通过通信将信息传给了收信者,收信者收到了信息以后消除了不确定性。如果信源发出的信息不确定性愈大,通过通信,收信者得到的信息量愈多。 ; 消息与信息是两个截然不同的概念:消息是由符号、文字或语言组成的序列,消息中不确定的内容构成信息。 消息并不是信息,任何己确定的事物都不再含有信息。;不确定的程度 例(1)如某二元信源发送1的概率为0.99,发送0的概 率为0.01,信宿随机收到一个信号,猜测是1还是0? (2)如果二元信源发1和发0的概率均为0.5,信宿随 机收到一个信号,猜测是0还是1? (3)如果信源可发送0,1,2,…9这十个数字,并假定发 送这十个数字的概率均为1/10,则信宿随机收到一个 信号,要猜测是什么信号? (4)极端情况,信源只发出一个信号1(或者永远只发 0),从这样的信源,我们不可能获得任何信息。;(复习)常用到的概率论的基本概念和性质: 设随机变量X,Y分别取值于{x1,x2,…xK}和 {y1,y2,…yJ}。如果考察X和Y同时发生xK和yJ的概率,则二者构成联合随机变量XY,取值于{xkyj|k=1,2,…K;j=1,2,…J},元素xkyj发生的概率称为联合概率,用P(xkyj)表示; 有时随机变量X和Y之间有一定的关联关系,一个随机变量发生某结果后,对另一个随机变量发生的结果会产生影响,这时我们用条件概率来描述两者之间的关系:如P(yk|xj)表示X发生xj后,Y又发生yk的条件概率,而P(yk)表示对xj一无所知时yk发生的概率。有时相应地称P(yk)为yk的无条件概率。同理有P(xj|yk)和P(xj)。;概率的基本性质:;1. 自信息（量）;平均自信息;1. 自信息（量） （续2）; 值得注意的是,xk是一个随机变量,而I(xk)是xk的函数,所以自信息量是一个随机变量。 自信息量与信息有联系,但不是信息,而是符号的先验不确定性。 ;2.3.2 联合自信息量 涉及两个随机事件的离散信源,其信源模型为:;2.3.3 条件自信息量 设yj条件下,发生xk的条件概率为P(xk|yj),那么它的条件自信息量定义I(xk|yj)为: 在给定条件xk(yj)条件下,随机事件yj(xk)发生所包 含的不确定度在数值上与条件自信息量I(yj|xk)( I(xk|yj))相同,但两者的含义不同。不确度表示含有 多少信息量;而信息量表示随机事件发生后