02信息论初步.ppt

现代通信原理——第二章 信息论初步 2006年2月 现代通信原理，第一章概述 现代通信原理Modern Communication Theory 西南科技大学信息工程学院 wujing@VIP.I63.comQQ：393237707 第二章 信息论初步 单元学习提纲 离散信源和连续信源的统计描述； 离散信源的信息量、条件信息量、互信息量和平 均信息量（熵）的定义和物理意义； 连续信源的平均信息量、平均互信息量的定义和物理意义； 信息量的单位——比特，比特率与波特率的区别； 有扰信道的信息传输过程； 信道容量的定义，有扰信道的最高信息传输速率； 在掌握上述基本概念基础上，要求熟记香农信道容量公式，理解它的物理意义及其对通信系统研究与发展的指导意义。 2.1.2 离散信源的信息量 对二进制来说： 1位符号可以表示2个事件。 2位符号可以表示4个事件。 3位符号可以表示8个事件。 对于二维离散序列，N位符号所构成的随机离散序列可能出现的消息量为2N。 通信中要寻求解决的问题 通信系统的目的是信息传输，接收端（信宿）要能最大的获取发送端（信源）的信息。要解决以下问题： 1、发送信号的概率如何分布才能的到最大熵？ 2、最大熵是多少？ 两个离散信源情况下的熵 2.2 信道容量和香农公式 信道容量的定义 单位时间内信道上所能传输的最大信息量称为信道容量。 有扰离散信道的信息传输 离散信道的信息传输 2.2.1 有扰离散信道的信息传输 离散信道: 信道输入和输出都是离散符号 有扰离散信道： 当信道中无干扰时，离散信道输入符号X和输出符号Y之间有一一对应的关系。 当信道中存在干扰时，输入符号与输出符号之间不存在一一对应关系，只存在一定的统计相关性，取决于转移概率p(yj/xi)。 无记忆信道 每个输出符号只取决于当前的输入符号，而与其它输入符号无关。 对称信道 行可排列： 如果一个矩阵的每一行都是同一集合 中诸元素的不同排列，称矩阵的行是可排列的 列可排列： 如果一个矩阵的每一列都是同一集合 中诸元素的不同排列，我们称矩阵的列是可排列的 对称信道： 如果一个矩阵的行和列都是可排列的，则称这个矩阵是可排列的，或称它具有可排列性。如果一个信道矩阵具有可排列性，它所表示的信道称为对称信道。 含义 信道容量是信道信息速率的上限，定量描述了信道（信息的）最大通过能力； 使得给定信道的达到最大值（即信道容量）的输入分布，称为最佳输入（概率）分布 信道I(X,Y)的与输入概率分布和转移概率分布两者有关，但信道容量是信道的固有参数，只与信道转移概率有关。 无噪信道的信道容量 有扰离散信道容量 例2-8：某二进制对称信道，码元速率为每秒1000符号，误码率为0.01，求该信道的信道容量。 2.2.2 有扰连续信道的信息传输 连续信道的信道容量公式 香农公式的物理含义 提高信噪比能增加信道容量。 无干扰信道容量为无穷大。 增加信道频带W并不能无限制增大信道容量。 信道容量一定时，带宽W与信噪比S/N之间可以彼此互换。 香农公式的应用举例 一幅图片拟在模拟电话信道上进行数字传真。该幅图片约有2.55×106个像素，设每个像素有16个亮度等级，且各亮度等级是等概率出现的。模拟电话信道的带宽是3KHz，信噪比为30dB。试求在此模拟电话信道上传输该幅传真图片所需的最小时间。 为表示每个像素的亮度等级所需的信息量 H=log224=4(bit) 一幅图片需要传输的信息量 H=2.25×106×4=9×106 设该幅图片的传输时间为T，则图片的信息速率 R= 9×106 /T (bit/s) 模拟电话信道容量 C=Blog2 (1+S/N)=3x103×log2 (1+1000) =3×103×3.32lg (1+1000)=29.9×103 (bit/s) 因R应小于等于C，取R=C，则可求得该图片最小传输时间 Tmin=(9×106)/(29.9×103 )=0.301×103 (s) 自测题 （1）信息量的单位是什么？ （2）平均信息量的定义和含义是什么？ （3）由n个符号组成的离散信源，其最大熵是多少？ （4）比特率和波特率之间的关系是什么？ （5）具有怎样概率密度函数的连续信源能产生最大平均信息量？ （6）从信息传输角度解释平均互信息量的物理意义。 （7）离散信源信息传输速率与信息熵的关系。 （8）解释香农信道容量公式的物理意义。 习题 2-3，2-6，2-8，2-12，2-13，2-14 香农公式给出了信道容量的理论