信息论总复习-new.pptxVIP

1总复习1概论2信源及信息熵3信源编码4信道及信道容量5信道编码6信息率失真函数7考试情况

信息与消息和信号的区别第1章概论201消息：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态。02信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。03信息是事物运动状态和状态改变的方式。

信息信息是事物运动状态和状态改变的方式。研究信息论的目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具，载荷信息的客体。

信息论的研究对象:通信系统模型.4编码器信宿信道消息干扰消息通信系统模型信源信号解码器信号+干扰噪声源信源信道加密信源信道解密通信系统的基本任务要求可靠:要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端有效:用尽可能短的时间和尽可能少的设备来传输最大的消息

第2章信源熵5单符号离散信源自信息量用概率测度定义信息量，设离散信源X，其概率空间为如果知道事件xi已发生，则该事件所含有的自信息定义为

联合自信息量当X和Y相互独立时，p(xiyj)=p(xi)p(yj)

自信息量、条件自信息量和联合自信息量之间的关系02条件自信息量：已知yj的条件下xi仍然存在的不确定度。01

互信息量：yj对xi的互信息量定义为的后验概率与先验概率比值的对数。两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。

平均信息量—信源熵：自信息的数学期望。也称为信源的信息熵/信源熵/熵。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵是唯一的。不同的信源因统计特性不同，其熵也不同。

条件熵：是在联合符号集合XY上的条件自信息的数学期望。1联合熵H(XY)：表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。2

信道疑义度—H(X|Y)：表示信宿在收到Y后，信源X仍然存在的不确定度。是通过有噪信道传输后引起的信息量的损失，故也可称为损失熵。噪声熵—H(Y|X)：表示在已知X的条件下，对于符号集Y尚存在的不确定性，这完全是由于信道中噪声引起的。唯一确定信道噪声所需要的平均信息量。12

平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。

平均互信息和熵的关系13熵H(X)H(X)=H(X|Y)H(X)=H(X|Y)+I(X;Y)XY条件熵H(X|Y)H(X|Y)=H(XY)-H(Y)=H(X)-I(X;Y)XY联合熵H(XY)=H(YX)H(XY)=H(X)+H(Y|X)=H(X|Y)+H(Y|X)+I(X;Y)XY平均互信息I(X;Y)=I(Y;X)I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)XY

I(X;Z)≥I(X;f(Z))=I(X;Y)H(X|Z)≤H(X|f(Z))=H(X|Y)当消息通过多级处理器时,随着处理器数目的增多,输入消息和输出消息之间的平均互信息量趋于变小。信息不增数据处理定理（信息不增原理）

H[p(x1),p(x2),…,p(xn)]≤logn02最大离散熵定理(极值性)：离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/n)，熵最大。01

二进制信源的熵函数H(p)为

BSC信道的平均互信息量设二进制对称信道的输入概率空间为

连续信源的熵为定义的熵在形式上和离散信源相似。连续信源熵并不是实际信源输出的信息量(绝对熵)；Hc(X)也称为相对熵连续信源的信息量为无限大；Hc(X)已不能代表信源的平均不确定度，也不能代表连续信源输出的信息量。010302

限峰值的最大熵定理:若信源的N维随机变量的取值在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。01限平均功率的最大熵定理：若信源输出信号的平均功率P或方差受限，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。02限均值的最大连续熵定理：若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源X具有最大熵值。03

第3章信源编码21离散信源的无失真编码实质上是一种统计匹配编码。信息论指出信源中的统计多余度主要决定于以下两个主要因素：01一是消息概率分布的非均匀性，另