第1章 概论 信息论 教学课件.pptVIP

教师 姓名：杨海芬 地址：科研楼B226 电话Email：yanghf@uestc.edu.cn 课程信息 课堂讲授：32学时 平时成绩：20 考试成绩：80 参考教材 《信息论—基础理论与应用》，傅祖芸，电子工业出版社，2001年 《应用信息论基础》，清华大学出版社 朱雪龙编著 T. M. Cover, Fundamental of Information Theory 翻译版本，《信息论基础》，T.M.Cover，机械工业出版社，2001年 最为流行的英文教材，为Stanford、MIT等学校的研究生课程选用 ? 数学推导适中，强调概念，作为参考教材 R.G. Gallager, Information Theory and Reliable Communication 数学推导较为艰深 作为提高教材 课程性质和任务 本课程是电子信息类专业的基础理论课程，是信息理论和通信理论的入门课程。 本课程主要讨论信息论的基本内容和分析方法，包括：信息的概念，信息的度量，香农三个定理，信源编码、信道编码的理论与方法初步。 培养学生形成以信息的视角分析问题的能力 了解信息论产生发展的过程，知其然与所以然 通过本课程的学习，使学生能掌握信息论的基本内容和分析方法，为今后进一步研究信息与通信工程打下理论基础。 课程主要内容 信息的概念 理解信息的概念；了解信息论的形成和发展，信息论的研究内容和研究方法。 离散信源及其信息熵 掌握单符号离散信源的信息度量—信息熵，理解其性质；了解多符号平稳离散信源；掌握平稳无记忆信源、马尔科夫信源的信息度量。 离散信道及信道容量 掌握单符号离散信息系统的信息度量—平均互信息量，理解其性质；了解单符号离散信道信道容量的一般计算方法；掌握均匀信道、对称信道和准对称信道信道容量的计算；掌握离散无记忆信道信道容量。 离散信道纠错编码 理解香农第二定理；掌握线性分组码。 信息率失真理论 理解单符号离散信源平均失真度、实验信道的概念，单符号离散信源信息率失真函数的概念及其性质；了解单符号离散信源信息率失真函数的参量表达式；掌握二元信源、等概率信源信息率失真函数及其定义域的计算；了解单变量平稳连续信源信息率失真函数的概念；理解香农第三定理；了解连续信源编码。 第一章 概论 理解信息的一般概念； 信息的属性，信息与消息、信号的联系与区别； 了解信息论的形成与发展； 了解香农信息论的研究内容； Google：七亿多条有哪些信誉好的足球投注网站结果 信息二字处处可见 信息工程系 中华人民共和国工业和信息化部 中国经济信息网 一个信息爆炸的时代* 世界上的一切物质运动和物质运动过程都产生信息和信息运动。从无机界到有机界，从宏观的宇 宙天体到微观的基本粒子，从单细胞生物到结构复杂的人体，从自然界到人类社会，种种物质形态 都是信息源，都在产生和发出信息。 对信息的解释？ 《应用汉语词典》解释，信息是“音信、消息”，信息论是指用符号传达的报道。 《新编简明哲学词典》讲，信息字面上的意义是“消息、材料、知识”。 《辞源》解释，1、音讯、消息。2、通信系统传输和处理的对象，泛指消息和信号的具体内容和意义。 《汉语大词典》解释为“音信、消息”，指事物所发出的消息、指令、符号所包含的内容， 1831年 法拉第电磁感应 改变人类历史的伟大的科学家 杯具式人物 约瑟夫·亨利 （Henry??Joseph 1797-1878）,美国的伟人科学家。他是以电感单位“亨利”留名的大物理学家。在电学上有杰出的贡献。他发明了继电器（电报的雏形），比法拉第更早发现了电磁感应现象，但没有及时发表这一实验成果，没有及时去申请专利，失去了发明权。 * Joseph Henry在他的实验室里面实现了第一个具有现实意义的电报系统。亨利用一个马蹄形的导体用导线线圈缠绕，导线的另外一端接着一个开关和伏打电池，这个电磁体的开端靠近一根钢棒，钢棒的另一端连着一个铃铛。当开关和上的时候，电流流经导线产生磁场带动钢棒敲响铃铛，断开的时候钢棒停止运动。 1832年，莫尔斯电报系统 Samuel Morse 美国艺术家（画家）兼发明家 。 1832年秋天一次异常重要的旅行 冒着失败的风险，莫尔斯在崎岖不平的科技之峰上努力攀登。在试制电报机的过程中，莫尔斯不得不重操艺术家的旧业，以解决生计问题。 经过几年的琢磨，1837年，莫尔斯设计出了著名且简单的电码，称为莫尔斯电码，它是利用“点”、“划”和“间隔”（实际上就是时间长短不一的电脉冲信号）的不同组合来表示字母、数字、标点和符号。 1840年，莫尔斯取得专利权，然后他想方设法说服和劝诱抱非常勉强态度的国会批准于1843年度拨款三万美元架设一条从巴尔的摩到华盛顿的超过四十英里的电报线（仅多六票）。1844年，该电报线开始