信息理论编码课程PPT 第1章 绪论.ppt

信息理论与编码 电子信息工程教研室 课程介绍 课程性质与先修课程 课程性质 《信息理论与编码》是通信工程、电子信息工程、信息工程等专业的一门理论性很强的专业基础课和必修课。其主要任务是让学生了解香农信息论的基本内容，掌握信息的度量方法以及信源、信道编码的基本理论与方法，培养学生利用信息论的基本原理分析和解决实际问题的能力，为进一步学习信息以及其他相关领域的高深技术奠定良好的理论基础。 先修课程 概率论、随机过程、线性代数、信号与系统 上课学时：40 实验学时：8 考核方式：闭卷考试 教材与参考书 推荐教材： 吕锋、王虹等. 信息理论与编码（第2版）. 北京：人民邮电出版社，2010年9月. 参考书： 朱雪龙. 应用信息论基础[M]. 北京：清华大学出版社，2001年3月. Thomas M.Cover. Elements of Information Theory [M]. 北京：清华大学出版社，2003年11月. 网络教学平台： 3 章节简介 第1章 信息的定义、性质与特征 第2章 信源模型与信息测度方法 第3章 信道模型、信道容量的计算方法 第4章 无失真信源编码 第5章 信道编码定理 第6章 限失真信源编码 第1章 绪论 1.1 信息论的形成与发展 Claude Elwood Shannon（克劳德·艾尔伍德·香农）C.E.Shannon 中文译名：香农，申农，山农，仙农，商农 Born: April 30, 1916, Petoskey, Michigan, USA Died: February 24, 2001(Aged 85) 数学家，工程学家 信息论创始人，奠基人 电子计算机理论重要奠基人 “信息论”诞生的标志 1948年，香农发表了“A Mathematical Theory of Communication”（通信的数学理论），第一次提出信息量的概念，并应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 “信息是不确定量的减少” “信息是用来消除随机不确定性的东西” 1949年，Shannon发表了“Communication in the Presence of Noise”（噪声下的通信），经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性，信源编码、信道编码等有关精确地传送通信符号的基本技术问题。 《通信的数学理论》和《噪声下的通信》成为现代信息论的奠基著作，标志着香农成为《信息论》这门新兴学科的创始人、奠基人。 1.2 信息的基本概念 同学们关于“信息”是怎么认识的？ 牛津英文字典里给出的解释是“某人被通知或告知的内容、情报、消息”。 《辞海》（中国1999年普及版）： ①音讯：“消息”。 ②通信系统传输和处理的对象，泛指消息和信号的具体内容和意义，通常须通过处理和分析来提取。信息的量值与其随机性有关，如在接收端难以预估消息或信号中所蕴含的内容或意义，即预估的可能性越小，信息量就越大。 花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉； 成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息； 听老师讲课可以得到若干知识，知识也是信息……。 信息论的基本概念：信息。 “信息”一词使用广泛，很难给出广泛认同的严格的定义。 香农在《通信的数学理论》中，并没明确地给“信息”下定义，留下一个悬案。 很多学者都给“信息”下过定义，流行的说法不下百种。 北邮钟义信教授 关于信息的流行说法（一） 用人们熟知的、与信息有某种联系的概念来定义信息： 信息是消息 信息是数据 此类定义只接触到与信息相关的一些表象，未触及到信息的实质。 关于信息的流行说法（二） 用某些学科的专门术语和名词定义信息： 信息是集合之间的变异度 信息是一种场 信息是信号 关于信息的流行说法（三） 从广义的角度、或者说从哲学意义上来定义信息： 信息就是信息，既不是物质也不是能量——维纳 信息是事物之间的差异 信息是事物相互作用的表现形式 信息是事物联系的普遍形式 关于信息的流行说法（四） 从控制论和系统论的角度来定义信息： 信息是控制的指令 信息是系统组织程度的度量 信息是有序性的度量 信息是负熵 关于信息的流行说法（五） 从随机不确定性的角度来定义信息： 信息是收信者事先不知道的报道 信息是用以消除不确定性的东西 1.3 信息的定义体系 （钟义信教授的）定义思路： 按适用面不同来分层次地定义信息。 层次愈高，适用面愈宽。 适用面不同意味着给定义附加的约束条件不同，约束条件愈多，适用面愈窄。 不同层次的信息 本体论层次信息