信息论 总复习_new.pptVIP

总 复 习 1 概论 2 信源及信息熵 3 信源编码 4 信道及信道容量 5 信道编码 6 信息率失真函数 7 考试情况 第1章 概论 信息与消息和信号的区别 消息：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态。 信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。 信息是事物运动状态和状态改变的方式。 信息 信息是事物运动状态和状态改变的方式。 研究信息论的目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具，载荷信息的客体。 信息论的研究对象:通信系统模型. 第2章 信源熵 单符号离散信源 自信息量 用概率测度定义信息量，设离散信源 X，其概率空间为 如果知道事件 xi 已发生，则该事件所含有的自信息定义为 联合自信息量 当 X 和 Y 相互独立时，p(xiyj)=p(xi)p(yj) 条件自信息量：已知yj 的条件下xi 仍然存在的不确定度。 自信息量、条件自信息量和联合自信息量之间的关系 互信息量：yj 对 xi 的互信息量定义为的后验概率与先验概率比值的对数。 平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/熵。 信息熵的意义：信源的信息熵 H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵是唯一的。不同的信源因统计特性不同，其熵也不同。 条件熵：是在联合符号集合 XY 上的条件自信息的数学期望。 信道疑义度—H(X|Y)：表示信宿在收到 Y 后，信源 X 仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵。 噪声熵—H(Y|X)：表示在已知 X 的条件下，对于符号集 Y 尚存在的不确定性，这完全是由于信道中噪声引起的。唯一确定信道噪声所需要的平均信息量。 平均互信息量定义：互信息量 I(xi;yj) 在联合概率空间 P(XY) 中的统计平均值。 从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。 数据处理定理（信息不增原理） 最大离散熵定理 (极值性) ：离散无记忆信源输出 n 个不同的信息符号，当且仅当各个符号出现概率相等时 (即p(xi)=1/n)，熵最大。 H[p(x1),p(x2),…,p(xn)]≤logn 二进制信源的熵函数 H(p) 为 BSC信道的平均互信息量 设二进制对称信道的输入概率空间为 连续信源的熵为 限峰值的最大熵定理:若信源的N维随机变量的取值在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。 限平均功率的最大熵定理：若信源输出信号的平均功率P或方差受限，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。 限均值的最大连续熵定理：若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X具有最大熵值。 第3章 信源编码 离散信源的无失真编码实质上是一种统计匹配编码。信息论指出信源中的统计多余度主要决定于以下两个主要因素： 一是消息概率分布的非均匀性，另一个是消息间的相关性。对无记忆信源主要决定于概率分布的非均匀性，但是，对于有记忆信源，两者都起作用，且后者相关性更加重要。 定长编码定理 2香农费诺编码 3 哈夫曼编码 我们学习了几种信源编码：香农费诺编码、哈夫曼编码、游程编码、算术编码、LZ编码等。 游程编码和算术编码是非分组编码；游程编码是限失真信源编码。本章介绍的都是离散信源变长编码。 优点：提高编码效率； 缺点：需要大量缓冲设备来存储这些变长码，然后再以恒定的码率进行传送；如果出现了误码，容易引起错误扩散，所以要求有优质的信道。 第3章 信道容量 信道容量 C：在信道中最大的信息传输速率，单位是比特/符号。 单位时间的信道容量 Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为 Ct 实际是信道的最大信息传输速率。 求信道容量的方法 当信道特性 p(yj|xi) 固定后，I(X;Y)随信源概率分布 p(xi)的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和 Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完