信息论速成1.pptVIP

信 息 论考试方式：期末闭卷授课教师：李 景 文教材：信息理论基础北京航空航天大学出版社教材主编：周荫清 第二章 信息的统计度量 四、联合熵（Joint Entropy）　 联合集XY上，联合自信息量I(xy)的概率加权平均值定义为条件熵H(XY)，也称共熵 第二章 信息的统计度量 五、熵函数的数学性质 1、对称性　 当概率矢量P=(p1, p2, …pq)中的q个分量的次序任意变更时，熵值不变。 释： ①熵仅与信源总体的统计特性有关(总体性)。 ②如果某些信源总体的统计特性相同，不管其内部结构如何，这些信源的熵值相同。 ③信息熵定义具有局限——突出局部(引入加权熵)。 第二章 信息的统计度量 2、非负性 等号成立的充要条件： 当且仅当集合X中某元素xi 的发生概率pi =1，其余pk =0 (k≠i)，即确定概率场的熵值最小。 * 信息理论基础 第一章 绪论 主要内容 §1.1 信息论 §1.2 信息 §1.3 通信系统数学模型 第一章 绪论 §1.1 信息论 信息论：应用数理统计的方法研究信息的传输、存储和处理的一门学科。经典信息论、广义信息论、信息科学。 1、经典信息论 又称为数学信息论、狭义信息论、近代信息论、香农信息论。 创始人：美国工程师C.E.Shannon（香农）。 1948年，《A Mathematical Theory of Communication》 第一章 绪论 经典信息论主要研究通信系统中的数学规律。 主要研究内容： ①、定量描述信源与信息量； ②、信道与信道容量； ③、信源与信道间的统计匹配； ④、信源与信道的编码定理。 2、工程信息论（又称一般信息论） 主要研究通信系统及系统中设备的最佳工作规律和最佳设计的一门科学。 研究内容涉及： ①、信源编码理论与方法； ②、信道编码理论与方法； ③、信号检测、估计理论与方法； ④、必威体育官网网址学； ⑤、通信网等。 ＊部件最优，放在一起，系统不一定最优。 第一章 绪论 3、广义信息论（又称信息科学） 上世纪70年代后，VLSI、VHSI和计算机广泛使用，信息存贮、处理能力不断提高，现代信息的研究突破香农信息论的框框，建立了更一般性的广义信息论，称为信息科学。 研究内容涉及： ①、经典信息论和工程信息论的内容； ②、模式识别； ③、计算机翻译； ④、神经网络； ⑤、心理学； ⑥、遗传学； ⑦、语言学； ⑧、语义学等。 第一章 绪论 §1.2 信息 1、通俗的信息概念 最普通的概念：信息是一种消息。 例如有人告诉你一条消息。(获得信息？获得多少？) ①、包含许多原来未知的新内容——信息量大 例如：信息论这门课期末不考试——信息量大 ②、包含许多原来知道的旧内容——信息量小 例如：信息论这门课期末考试——信息量小 第一章 绪论 第一章 绪论 信息和消息不一样，同一条消息可产生不同的效果： 911事件是消息 美国人 阿拉伯人 中国人 植物人 2、广义的信息概念 ①、信息表征客体变化、客体之间的差异和关系； 客观世界三大要素：物质、能量、信息 物质运动需要能量，运动产生差异，差异产生信息。 没有完全一样的客观物体： 例如：双胞胎兄弟难区分—母亲能区分，存在差异。 ②、信息表征客体的行为和能力，而不是客体本身。 例如：母亲邮寄的衣物——客体是衣物 男朋友送的巧克力——客体是巧克力 第一章 绪论 总结： ①、信息不是物质，表征事物的状态和运动形式； ②、信息是物质和能量在空间和时间上分布的不均匀程度——差异； ③、信息充满世界，信息无处不在，有物质的地方就有信息； ④、信息是无形的，摸不着、看不见，必须依附于一定的物质形式存在——客体。 第一章 绪论 3、概率信息——定量描述 又称为香农信息、狭义信息，由香农提出来的，从事件不确定性(随机性)和概率测度出发定义信息。 例如： 甲袋（100个球）