第1章_信息论与编码.pptVIP

信息论与编码 课程内容 信息论的基本问题—信息的度量 无失真信源编码—香农第一定理 信道编码—香农第二定理 限失真信源编码—香农第三定理 信道描述和信道容量 加密编码 教学目标 香农信息论的基本理论、概念和方法； 信息的统计度量，信源，信道和信道容量 编码的理论和实现原理 信源编码与信道编码 教学重点 信息度量 信源编码 信道编码的基本理论及实现原理 教材及参考书 教材：曹雪虹、张宗橙，《信息论与编码》，清华大学出版社 第1章 绪论 1.1 信息论的形成和发展 首先了解如下两个问题 1.1 信息论的形成和发展 信息论的发展过程: 1924年，H Nyquistnai（奈奎斯特）， 信息率与带宽联系 1928年，RV Hartley（哈特利）, 引入非统计（等概率事件）信息量概念 1936年，EH Armstrong（阿姆斯特郎）， 带宽与抗干扰能力 1948年，Shannon（香农）, “信息论” “A mathematical theory of communications”信息时代的里程碑 50年代开始，IRE成立信息论组，出版信息论汇刊 1.1 信息论的形成和发展 信息论的形成与发展 人类社会互通情报的实践过程中产生 1959年，Shannon, 信源压缩编码理论，“Coding theorem for a discrete source with a fidelity criterion” 1961年，Shannon, “双路通信信道”，多用户通信系统理论 1972年，Cover（盖弗）, 信道模型研究 1.1 信息论的形成和发展 1.1 信息论的形成和发展 1.1 信息论的形成和发展 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 限失真信源编码定理（第三极限定理） Shannon信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论 ----狭义信息论 2.信息、消息和信号 信息 是事物运动状态或存在方式的不确定性的描述。 1.1 信息论的形成和发展 1.1 信息论的形成和发展 1.2 通信系统的模型 1.2 通信系统的模型 1.2 通信系统的模型 1.2 通信系统的模型 1.2 通信系统的模型 1.2 通信系统的模型 信源编码和信源解码 有效性，去除冗余 信道编码和信道解码 可靠性，添加冗余 1.2 通信系统的模型 1.2 通信系统的模型 1.2 通信系统的模型 * 参考书：1. 傅祖芸，《信息论—基础理论与应用》，电子工业出版社 2. 方军、俞槐栓，《信息论与编码》，电子工业出版社 3. 吴伯修、祝宗泰、钱霖君，《信息论与编码》，东南大学出版 社 4. 姜丹，《信息论与编码》，中国科学技术大学出版社 1.2 通信系统的模型 1．信息的概念是什么？ 2．信息论和信息技术分别研究什么样的问题？ 1．信息的概念是什么？ 信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。 2．信息论和信息技术分别研究什么样的问题？ 信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论，主要研究可能性和存在性问题，为具体实现提供理论基础。与之对应的是信息技术，主要研究如何实现、怎样实现的问题。 几个概念 狭义信息论和广义信息论 狭义信息论:在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。 因为它的创始人是香农，故又称为香农信息论。 广义信息论:包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计、噪声理论。信号的检测与估值等。 本书讲述的信息理论的基本内容是与通信科学密切相 关的狭义信息论： （1）什么是信息？如何度量信息？ （2）在信息传输中，基本的极限条件是什么？ （3）信息的压缩和恢复的极限条件是什么？ （4）从环境中抽取信息的极限条件是什么？ （5）设计什么样的设备才能达到这些极限？ （6）实际上接近极限的设备是否存在？ 消息 是指包含有信息的语言、文字和图像等 。 信息的载荷者 信号 是消息的物理体现，如电（光）信号。