曹雪虹、张宗橙，《信息论与编码》，北京邮电大学出版社ITD第一章.pptVIP

信息论与编码 主讲教师：王莉 教材及参考书 教材：曹雪虹、张宗橙，《信息论与编码》，北京邮电大学出版社 第一章 绪论 第一节 信息论的形成和发展 首先了解如下两个问题 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第一节 信息论的形成和发展 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 第二节 通信系统的模型 * 北京科技大学电子信息系 电话Email: wlsusanwm@163.com 2003年4月22日 参考书：1. 傅祖芸，《信息论—基础理论与应用》，电子工业出版社 2. 方军、俞槐栓，《信息论与编码》，电子工业出版社 3. 吴伯修、祝宗泰、钱霖君，《信息论与编码》，东南大学出版 社 4. 姜丹，《信息论与编码》，中国科学技术大学出版社 第二节 通信系统的模型 1．信息的概念是什么？ 2．信息论和信息技术分别研究什么样的问题？ 1．信息的概念是什么？ 信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。 2．信息论和信息技术分别研究什么样的问题？ 信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。与之对应的是信息技术，主要研究如何实现、怎样实现的问题。 20世纪20年代奈奎斯特（Nyquist，H．）和哈特莱（Hartley，L．V．R．）提出了信息的定义 1924年奈奎斯特解释了信号带宽和信息速率之间的 关系 1928哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法 1936年阿姆斯特朗（Armstrong）提出了增大带宽可以使抗干扰能力加强 1941～1944年香农对通信和密码进行深人研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。 50年代信息论在学术界引起了巨大的反响 60年代信道编码技术有较大进展，使它成为信息论的又一重要分支；信源编码的研究落后于信道编码。香农 1959年的文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础 到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗（Caer）发表了有关广播信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。 几个概念 狭义信息论和广义信息论 信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。通常把上述范围的信息论称为狭义信息论，又因为它的创始人是香农，故又称为香农信息论。 广义信息论则包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计、噪声理论。信号的检测与估值等。 本书讲述的信息理论的基本内容是与通信科学密切相 关的狭义信息论： （1）什么是信息？如何度量信息？ （2）在信息传输中，基本的极限条件是什么？ （3）信息的压缩和恢复的极限条件是什么？ （4）从环境中抽取信息的极限条件是什么？ （5）设计什么样的设备才能达到这些极限？ （6）实际上接近极限的设备是否存在？ 信息、消息和信号的关系 信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看