信息论——基础理论与应用（第5版）课件 【ch12】信息论与其他学科的关系和应用.pdfVIP

高等学校电子信息类精品教材 第十二章 信息论与其他学科 的关系和应用 信息论——基础理论与应用 》》》 01 信息熵 与热力学熵 》》》》》 一、信息熵与热力学熵 早在1864年克劳修斯在《热力唯动说》一书中，提出了熵这个物理量(用符号S表 示)。他发现：如果一个物体的绝对温度为T,我们给物体加进热量，该物体增加的熵为△Q/T, 即△S。△S代表吸收热量前后物体的熵之差。物体吸进热量之前，物体的压强为P?,熵为S?; 物体吸进热量之后，物体的压强为P?,熵为S?,即△S=S?-S?。所以，在经典热力学中，物 理系统的变化，用积分形式表示为 及 dQ S?-S?= (12.1) B?T 式中，T为温度，Q为热量，P为压强。 同样，如从该物理系统中取出热量△Q,则该系统的就减少△S。 一、信息熵与热力学熵 根据热力学第二定律，一个系统在孤立的封闭情况下，总是自发地由有序状态(有序程度 较高),走向无序状态(有序程度较低),使增加。例如，把一滴墨水滴人一杯清水中，墨水会在 水中向四处扩散直到整个杯中呈均匀散布墨水为止而均匀散布一杯水中的墨水绝不会自动地 聚集成原先的一滴墨水。墨水的扩散是从有序走向无序，而不附加任何条件。但不附加任何 条件由无序走向有序是不可能的。又例如在一个封闭的系统中，有一个被隔板分成左右两部 分的密闭容器左半部分是一种气体，右半部分是另一种气体。这时，两种气体内的分子分别 处于有序状态。系统的熵最小。当把隔板抽走，两种气体分子逐渐在整个容器内扩散。不一 会儿，它们就混合起来分子之间的排列就越来越无序熵就越来越大。最后，当两种气体完全 混合时，分子混乱程度达到最高，熵达到最大值。所以热力学是系统无序度的度量。热力学 第二定律告诉我们，在任何系统的演化中，系统的总熵是永远不会减少的，这就是热力学熵 的不减原理。 信息熵也是动态的，如当消息通过系统传输到收信者后，信源的熵要改变。在信息论中 信息熵只会减少，不可能增加，这就是信息熵不增原理。 02 信息论与光学 》》》 二、信息论与光学 自1948年香农信息论创立之日起，世界上许多光学界的学者和专家就开始致力于把信息 最大信息量、自由度等概念引入光学领域。此后，人们对他提出的论述有所争议，直到 1969年他把回转球波函数引入光学，建立了光学本征理论，完善地解决了在相于条件下无 像差光学系统传递信息量的问题。在此基础上，通过近半个世纪各国科学家们的不懈努力逐 渐形成和发展起来信息论和光学相结合的一门独立学科——光学信息论。 光学信息论主要研究并阐明光学成像的图像或物体的信息如何度量；信息量经各种光学 系统如何传递；如何衡量最后到达像平面的信息量；以及不同光学系统或光学方法传递光学 信息量的最大限度和效能等问题。其内容涉及许多光学理论和知识。 二、信息论与光学 01光学信息量 在在本书第4章第4.8节中，我们讨论了平均功率受限的高斯白噪声加性波形信道的信道 容量，得到著名的香农公式(4.172)或式(4.173)。由式(4.172)可知 N、 P. C= 1+ (12.4) log 2 P. 式中，Ps是信号平均功率；Pn是噪声在系统频带宽度内的平均功率；N是在T时间内信号 的取样值个数，N=2WT,称为自由度数。