[英语]课件-3.pptVIP

第三章：信息论基础（1/39） 信息论是通信系统设计和分析的基本理论，研究信息系统，必须了解信息论的基本概念。本章我们简要介绍香农信息论的基本内容。 第三章：信息论基础（2/39） 1948年，美国一位数学家，克劳特.香农(C.E.Shannon)发表了一篇著名的论文《通信的数学理论》。解决了按“通信的消息”来理解的信息(狭义信息)的度量问题。香农的论文给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，简称“信息论”。 第三章：信息论基础（3/39） 几个概念： 1. 自信息量 I=-logP(x) 2. 信源熵 H(X)=-∑Pi(x)logPi(x) 3. 互信息量 信宿收到信道输出的某一符号bj后，从bj中获取关于信道某输入符号ai的信息量I(bj；ai) 第三章：信息论基础（4/39） 第三章：信息论基础（5/39） 第三章：信息论基础（6/39） 也就是说，信源X通过传递概率为P(Y／X)的信道输出随机变量Y，信道传递的平均交互信息量I(X;Y)，等于通信前(随机变量X和Y统计独立)随机变量X和Y同时出现的平均不确定性H(X)十H(Y)，与通信后(随机变量X和Y由信道传递概率P(Y／X)相联系)信道两端同时出现随机变量X和Y的平均不确定性H(XY)之差，即通信前、后，随机变量X和Y同时出现的平均不确定性的消除。 第三章：信息论基础（7/39） 交互信息量的不增性： 任何无源数据处理都不会增加信息量。我们把这个结论称之为数据处理定理。数据处理定理是平均交互信息量的不增性在数据处理过程中的一种体现。 第三章：信息论基础（8/39） 对于信源X来说，经信息传输或信息处理，最终获取关于信源X的平均交互信息量，绝对不会超过信源X本身含有的平均信息量H(X)，最多等于信源X本身含有的平均信息量H(X)。信息所经过的传输信道或数据处理装置越多，丢失的信息量就可能越多。在传输或处理过程中，一旦在某一环节(信道或处理装置)丢失一部分信息，以后的系统不管怎样传输或处理，如不能接触到丢失信息环节的输入端(如多次测量)，就不能再恢复已丢失的信息。 第三章：信息论基础（9/39） 4. 信道容量： 信道容量定义为互信息量的极大值，即 平均交互信息量I(X;Y)是信道每传递一个符号传输的平均信息量，亦可称之为信道的信息传输率R(X，Y)。所以，信道容量C也表示给定信道的最大信息传输率R(X，Y)max。如已知信道每传递一个符号需要t秒时间，则信道每秒钟能传输的平均交互信息量称为信道的信息传输速率。由信道容量C的定义可知，信道的最大信息传输速率 第三章：信息论基础（10/39） 第三章：信息论基础（11/39） 具有一一对应的确定关系的无噪信道的信道容量： 第三章：信息论基础（12/39） 高斯加性白噪声信道（AWGN-Added White Gaussian Noise）的信道容量： 这就是著名的香农公式。 第三章：信息论基础（13/39） 香农公式的一个重要意义，是它把信道传输的信息量与通频带宽度F、观察时间长度t以及信噪功率比Px／N0三个物理量联系了起来。这就给我们指明，信息、物质、能量三者之间有区别，但又存在内在的联系。信息的获取必须付出相应的代价。F、t和Px／N0这三个物理量确定之后，信道最大信息传输速率的极限值也随之确定了。 第三章：信息论基础（14/39） 香农信息论的三个主要定理（无失真信源编码定理，信道编码定理，限失真信源编码定理）： 通信的根本任务是有效、可靠地传输信息。用信源、信道的基本理论，分析信息传输过程，寻求既有效、又可靠地传输信息的途径和方法，是信息论这门学科的重要使命。 第三章：信息论基础（15/39） 要把信源发出的消息所携带的信息，高速度、高质量地通过信道传送给接收者，从一般概念来说，存在三方面需要加以解决的问题：第一，信源发出的消息(符号)有可能不适合信道的传输。也就是说，信道能传递的符号与信源发出的消息(符号)不一致，信道无法传输信源发出的消息(符号)，当然信道也就不能传输信源发出的消息(符号)中捞带的信息。在这种情况下，必须首先解决使信源发出的消息(符号)能适合信道的传输的问题。解决的方法，就是把信道能传输的符号集作为码符号集，对信源能发出的每一种符号，进行一一对应的无失真编码。这就是所谓的无失真信源编码。 第三章：信息论基础（16/39） 第二，在解决了信源发