信息论与编码（第3版）全套PPT课件.pptx

1

1/1

2

第1章概论

C.E.Shannon：

美国科学家，

信息论创始人

中文译名：

山农，香农，仙农，商农

标准译名

1.1.1信息的概念

一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。”

信息

材料

能源

当代文明的三大支柱

花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；

成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息；

药有苦味，让人难以吞咽，药味是一种信息；

听老师讲课可以得到许多知识，知识也是信息……。

色彩

视觉

果香

嗅觉

苦药

味觉

知识

听觉

总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。

冷热

触觉

那么信息究竟是什么呢？

1928年，美国数学家哈特莱(Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。

事隔20年，另一位美国数学家香农(C.E.Shannon)在《贝尔系统电话杂志》发表了题为《通信的数学理论》的长篇论文。他创立了信息论，但是却没有给出信息的确切定义他认为“信息就是一种消息”。

维纳在1950年出版的《控制论与社会》一书中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。

美国数学家

控制论的主要奠基人

维纳(Wiener）

最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。

例如，引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。

全信息

同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。

信息存在于自然界，也存在于人类社会，其本质是运动和变化。可以说哪里有事物的运动和变化，哪里就会产生信息。

信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。

人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，有语言、文字和电磁波。

综合起来，信息有以下主要特征：

根据上述特征和信息的基本定义，可以导出信息的一些重要性质：

存在的普遍性

有序性

相对性

可度量性

可扩充性

可存储、传输与携带性

可压缩性

可替代性

可扩散性

可共享

时效性

信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。

1.1.2信息的分类

在众多的分类原则和方法中，最重要的就是按照信息性质的分类。

按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。

语法信息考虑的是事物运动状态和变化方式的外在形式。

当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。

香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。

在人类历史的长河中，信息传输和传播手段经历了五次重大变革。

通信理论体系的逐步形成和信息技术的飞速变化,为信息论的创立奠定了坚实的基础.

1.2.1信息论创立的理论基础和技术条件

人们早已习惯了”物-物”或”钱-物”交换的贸易方式,不论哪种方式,总是有失有得。

电报和电话的发明给人们带来了惊喜,也使人产生困惑:接收者有所得,发送者并无所失。这到底是为什么?

带着这些疑问和好奇,人们对通信的本质开始了广泛而深入的探索。

1.2.2信息论的诞生和发展现状

1924年，奈奎斯特（H