[研究生入学考试]communication.pptVIP

第2章 信息论初步 主要内容 一、信息的度量 1.信息的统计特性 2.离散信源的信息量 3.离散信源的平均信息量 4.连续信源的信息度量 5.峰值受限最大熵 二、信道容量和香农公式 1.有扰离散信道的信息传输 2.有扰连续信道的信息传输 信息论的研究对象 内容涉及到信源编码和信道容量 香农信息论的一些基本概念:信息量、熵、信道容量、有扰信道的传输问题 比较抽象地了解通信中的信息传输过程，了解信道传输的理论极限 2.1 信息的度量 信息：是消息的内容 消息：是信息的形式 Hartley和香农(C.E.Shannon)从消息的统计特性出发，从信息的不确定性和概率测度的角度定义了通信中信息量的概念，并给出了信息度量的方法。 2.1.1 消息的统计特性 消息分为两大类：离散消息和连续消息。产生离散消息的信源为离散信源，产生连续消息的信源为连续信源。 计算机把连续的消息转换成离散的消息来处理 由于计算机或者人处理能力的限制，现实中处理的都是离散消息 可以用连续函数给离散消息建立概率模型 离散信源只能产生有限种符号，离散消息可以看成一种有限个状态的随机序列，用随机过程的统计特性如相关函数、期望、方差表示 2.1.2 离散信源的信息量 直观经验告诉我们，消息出现的可能性越小，则此消息携带的信息越多 Hartley首先提出采用消息出现概率的对数测度作为离散消息的度量单位 I(xi)=-log(1/P(xi)) (2-3) 当对数以2为底，信息量单位为bit，对数以e为底，信息量单位为奈特nit 2.1.3 离散信源的平均信息量 联合熵 联合熵、熵、条件熵之间的关系 2.1.4 连续信源的信息度量 2.1.5 均方值受限最大熵 2.2 信息容量和香农公式 2.2.1 有扰离散信道的信息传输 无记忆信道 有扰离散信道的最高信息传输速率 有扰离散信道的最高信息传输速率 有扰离散信道的最高信息传输速率 2.2.2 有扰连续信道的信息传输 由香农公式可得如下结论 提高信号与噪声功率之比，可以提高信道容量 即 S/N (SNR) ?，C ? 如果N?0, SNR??，C??。无干扰信道的信道容量无穷大。 W ?，C ?，但趋于一个极限。因为W ?，N=W*n0 ?， 若C 为常数，W与SNR可以互换。 (扩频通信) 归一化信道容量 另外一条具有重大意义的结论 信道容量为C，信源的信息速率为R，如果R?C，总可以找到一种信道编码方法实现无误传输 若R≥C，则不可能实现无错传输 通过分析离散信源的信息量和香农熵，并利用互信息的概念分析了信道的容量 信息必须经过信道才能传输 单位时间内信道上所能传输的最大信息量称为信息容量 信道上总是存在干扰 在干扰情况下，如何计算信道容量，是本节所要讨论的内容 信道输入输出符号都是离散符号时，该信道称为离散信道 当信道中不存在干扰时，离散信道的输入符号X和输出符号Y之间具有一一对应的确定的关系 当信道中存在干扰，则输入符号和输出符号之间存在某种随机性，而不存在一一对应的确定关系，只具有一定的统计相关性 这种统计相关性取决于转移概率p(yi/xi), 它是信道输入符号为xi而信道输出为yi的条件概率 无记忆信道：是指每个输出符号只取决于当前的输入符号，而与其他输入符号无关 实际的信道往往是有记忆的，每个输出符号不但与当前输入符号有关，而且与以前的若干个输入符号有关 无记忆信道的数学表达最简单 当信道的转移概率矩阵中各行和各列具有相同集合的元素时，这类信道称为对称信道 在一般情况下，发送符号集X={xi}, i=1,2,…,L，有L种符号；接收符号集Y={yj}, j=1,2,…,M，有M种符号。无记忆信道的转移概率可用下列矩阵表示 P(y1/x1) P(y2/x1) P(y3/x1) … P(yM/x1) P(y1/x2) P(y2/x2) P(y3/x2) … P(yM/x2) P(y1/xL) P(y2/xL) P(y3/xL) … P(yM/xL) … … … … … (2-38a) P(yi/xi)= 或 P(x1/y1) P(x2/y1) P(x3/y1) … P(xL/y1) P(x1/y2) P(x2/y2) P(x3/y2) … P(xL/y2) P(x1/yM) P(x2/yM) P(x3/yM) … P(xL/yM) … … … … … (2-38b) P(xi/yi)= 对于对称信道 -∑jP(