必威体育精装版信息论重点-(新).pdf

精品文档

1．消息定义

信息的通俗概念：消息就是信息,用文字、符号、数据、语言、音符、图片、图像等能够

被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成

为消息，消息中包含信息，消息是信息的载体。

信号是表示消息的物理量，包括电信号、光信号等。信号中携带着消息，信号是消息的

载体。

信息的狭义概念（香农信息）:信息是对事物运动状态或存在方式的不确定性的描述。

信息的广义概念信息是认识主体(人、生物、机器)所感受的和表达的事物运动的状态和

运动状态变化的方式。

语法信息(语法信息是指信息存在和运动的状态与方式。)

语义信息(语义信息是指信宿接收和理解的信息的内容。)

语用信息(语用信息是指信息内容对信宿的有用性。)

2．狭义信息论、广义信息论。

狭义信息论：信息论是在信息可以量度的基础上，对如何有效，可靠地传递信息进行研

究的科学。它涉及信息量度，信息特性，信息传输速率，信道容量，干扰对信息传输的影响

等方面的知识。

广义信息论：信息是物质的普遍属性，所谓物质系统的信息是指它所属的物理系统在同

一切其他物质系统全面相互作用（或联系）过程中，以质、能和波动的形式所呈现的结构、

状态和历史。包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计，噪

声理论，信号的检测与估值等。

3.自信息互信息定义性质及物理意义

自信息量：I(x)logP(x)

ixi

是无量纲的，一般根据对数的底来定义单位：当对数底为2时，自信息量的

单位为比特；对数底为e时，其单位为奈特；对数底为10时，其单位为哈特

自信息量性质：I(x)是随机量；I(x)是非负值；I(x)是P(x)的单调递减函

iiii

数。

自信息物理意义:1.事件发生前描述该事件发生的不确定性的大小

2.事件发生后表示该事件所含有（提供）的信息量

互信息量:

p(x|y)

I(x;y)I(x)I(x|y)logp(x)logp(x|y)(i1,2,,n;j1,2,,m)logij

ijiijiijp(x)

i

互信息量的性质：1)互信息的对称性

2)互信息可为零

3)互信息可为正值或负值

4)任何两个事件之间的互信息不可能大于其中任一事件的自信息

互信息物理意义:1.表示事件yj出现前后关于事件xi的不确定性减少的量

2.事件yj出现以后信宿获得的关于事件xi的信息量

4.平均自信息性质平均互信息性质

平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）：

n



H(X)E[I(x)]E[logp(x)]p(x)logp(x)

iiii

i1

精品文档

精品文档

熵函数的数学特性包括:

(1)对称性p=(p1p2…pn)各分量次序可调换

(2)确定性p中只要有为1的分量，H(p)为0

(3)非负性离散信源的熵满足非负性，而连续信源的熵可能为负。H(p)大于等于0

(4)扩展性扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。

虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率