第一章 绪论 信息论和 与编码 课件.pptVIP

东北大学秦皇岛分校自动化工程系 2010年3月;课程目标与安排;学 时：32 考试方式：闭卷 考试成绩：平时成绩*20% + 考试成绩*80%;第一章 绪论 第二章 信源熵 第三章 信道容量 第四章 信息率失真函数 第五章 信源编码 第六章 信道编码 第七章 密码体制的安全性测度;课程目标与安排;信息的有关概念;“信息”不同于知识 知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息； 知识是信息，但不等于信息的全体； “信息”不同于信号 把消息变换成适合信道传输的物理量，就是信号；信号是承载消息的物理量；;信息的有关概念; 仙农从研究通信系统传输的实质出发，对信息做出了科学的定义； 仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 因此, 对于收信者来说, 通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多； “信息”是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。;信息的度量;信息的度量;通讯系统模型;通讯系统模型;电报常用的莫尔斯码就是按信息论的基本编码原则设计出来的； 在一些商品上面有一张由粗细条纹组成的标签，从这张标签可以得知该商品的生产厂家、生产日期和价格等信息，这些标签是利用条形码设计出来的，非常方便，非常有用，应用越来越普遍； 计算机的运算速度很高，要保证它几乎不出差错，相当于要求有100年的时间内不得有一秒钟的误差，这就需要利用纠错码来自动地及时地纠正所发生的错误； 每出版一本书，都给定一个国际标准书号（ISBN），大大方便图书的销售、编目和收藏工作。; 信息论的形成和发展