信息论基础与应用-全套PPT课件.pptx

信息论基础与应用

;课程信息;实践性教学内容、要求及学时分配;国外参考教材;第一章：绪论;第一章：绪论;;2.信息的通俗概念;2.信息的通俗概念（续1）;;;;;;;;;4.信息的广义概念;第一章：绪论;;;;;;;;;;;研究内容：

信道的统计特性

无噪声信道、有噪声信道

离散信道、连续信道、波形信道

有记忆信道和无记忆信道

恒参信道（平稳信道）和随参信道（非平稳信道）

单用户信道和多用户信道

信道传输信息的最高速率

信道容量;;;;;第一章：绪论;;;;;;信息论是通信的数学基础，它以概率论为主要数学工具，详细研究了通信中的各个关键环节，以定理的形式给出了信源编码、信道编码的理论极限，为各种具体的通信技术提供了理论上的指导。

信息论创立的标志:香农于1948年发表

的论文：

——AMathematicalTheoryofCommunication

（通信的数学理论）;;信息论帮助通信工程师从全局的观点观察和设计通信系统。

信息论是从事信息通信系统研究和开发的必备的知识。

香农信息论的目标是研究通信系统的信息传递，而不是帮助人们理解信息含义。香农信息论有它的局限性。

;2.信息论的应用（续1）;2.信息论的应用（续2）;第一章：绪论;;;;大写字母等表示随机变量

小写字母等表示随机变量的具体取值

大写黑体字母等表示多维随机变量，也就是随机矢量

小写黑体字母等表示随机矢量的具体取值;第二章：信息的度量;第二章：信息的度量;;;1.自信息（量）（续2）;;1.自信息（量）（续4）;;1.自信息（量）（续6）;1.自信息（量）（续7）;1.自信息（量）（续8）;1.自信息（量）（续9）;解：p(xiyj)=1/64i=1,2,…,8;j=1,2,…,8

（1）I(xiyj)=–logp(xiyj)=6比特

（2）I(xi|yj)=–logp(xi|yj)=–log[p(xiyj)/p(yj)]=3比特

I(xi)=–logp(xi)=3比特

I(yj)=3比特;2.互信息（量）;2.互信息（量）（续1）;2.互信息（量）（续2）;2.互信息（量）（续3）;2.互信息（量）（续4）;2.互信息（量）（续5）;2.互信息（量）（续6）;2.互信息（量）（续7）;;2.互信息（量）（续9）;2.互信息（量）（续10）;2.互信息（量）（续11）;3)任何两个事件之间的互信息不可能大于其中任一事件的自信息;例6：居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？

;2.互信息（量）（续14）;2.互信息（量）（续15）;2.互信息（量）（续16）;2.互信息（量）（续17）;第二章：信息的度量;;;;1.平均自信息的概念（续3）;1.平均自信息的概念（续4）;解：

1)由信息熵定义，该信源输出的信息熵为;1.平均自信息的概念（续6）;;;;;;;;;;（6）递增性（递推性);;;;;;但是;上凸性的几何意义：

在上凸函数的任两点之间画一条割线，函数总在割线的上方.

上凸函数在定义域内的极值必为最大值，这对求最大熵很有用。;;;;;3.联合熵和条件熵;3.联合熵和条件熵（续1）;;3.联合熵和条件熵（续3）;;3.联合熵和条件熵（续5）;;5);3.联合熵和条件熵（续8）;3.联合熵和条件熵（续9）;引入事件的重量，度量事件的重要性或主观价值。;3.联合熵和条件熵（续11）;3.联合熵和条件熵（续12）;第二章：信息的度量;;;2.平均互信息的性质;;;;;;;;练习题1

已知：X为随机变量，

判断：？

;;第三章：信源及信源熵;;时间

（空间）

;;;;;一：信源的分类及其数学模型;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;英文信源：

H0=4.76

H1=4.03

H2=3.32

H3=3.1

H5=1.65

=1.4;英文

法文

德文

西班牙文

中文