第1章 绪论 信息论基础.pdfVIP

信息论基础 主讲：刘佟 联系方式：568506227@ 课程信息  教材及主要参考书： ① 《信息论基础教程》第二版 李梅,李亦农 北京邮电大学出版社， 2008年10月 ② 《信息论基础理论与应用》，傅祖芸 电子工业出版社，2001年8月  考核：平时成绩30 ％（作业、考勤、实验） 期末考试70 ％（闭卷）  答疑： 国外参考教材 T. M. Cover, Fundamental of Information Theory 最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用 数学推导适中，强调概念，作为参考教材 R.G. Gallager, Information Theory and Reliable Communication 数学推导较为艰深 作为提高教材 第一章：绪论 一、什么是信息 二、通信系统模型 三、信息论的研究内容 四、信息论的形成和发展 第一章：绪论 1. 概述 2. 信息的通俗概念 一、什么是信息 3. 信息的狭义概念（香农信息） 二、通信系统模型 4. 信息的广义概念 三、信息论的研究内容 四、信息论的形成和发展 第一章：绪论 什么是信息 通信系统模型 研究内容 形成和发展 1. 概述  组成客观世界的三大基本要素： 物质 能量 信息  没有物质什么都不存在，没有能量什么都不会发生，没 有信息什么都没有意义。 ——美国学者欧廷格 第一章：绪论 什么是信息 通信系统模型 研究内容 形成和发展 2. 信息的通俗概念 信息的通俗概念：消息就是信息。  用文字、符号、数据、语言、音符、图片、图像等能够 被人们感觉器官所感知的形式，把客观物质运动和主观 思维活动的状态表达出来，就称为消息。  消息中包含信息，消息是信息的载体。 第一章：绪论 什么是信息 通信系统模型 研究内容 形成和发展 2. 信息的通俗概念（续1）  信号是表示消息的物理量，包括电信号、光信号等。  信号中携带着消息，信号是消息的载体。 信息 消息 信号 第一章：绪论 什么是信息 通信系统模型 研究内容 形成和发展 3. 信息的狭义概念（香农信息） 香农信息：信息是对事物运动状态或存在方式的不确定 性的描述。  通信的过程就是消除不确定性的过程。  通信的基本问题是在一点(信宿）精确或近似恢复另一点 （信源）所选择的消息。 ———— 香农 第一章：绪论 什么是信息 通信系统模型 研究内容 形成和发展 3. 信息的狭义概念（香农信息） （续1）  例1： 甲袋红、白球各50个，乙袋红、白、蓝、黑球各 25个。比较从甲袋中取出一个球是红球的事件和从乙袋