信息论基础——总复习.ppt

试题类型 判断题共 10小题，满分 20 分 ； 填空题共 6小题，满分 20分 ； 证明题共 1小题，满分 10分 ； 计算题共 4小题，满分 50 分： 各类熵以及互信息的计算； 马尔科夫信源熵及其相关； 唯一可译码的判定、D进Huffman编码及其相关； 线性分组码综合； 二进信道容量的计算及其相关； r元等概分布对称信源的率失真函数与失真度的计算． 信息论的基本内容 课程特点： 以概率论为基础，数学推导较多，学习时主要把注意力集中到基本概念的理解上，不过分追求数学细节的推导。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 狭义信息论：主要研究信息的度量、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论 香农信息论的核心： 揭示了在通信系统中采用适当的编码后能够实现有效且可靠的传输信息，并得出了信源编码定理和信道编码定理。 三大定理 无失真信源编码定理（第一极限定理） 信道编码定理（第二极限定理） 有失真信源编定理（第三极限定理） 从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的理论依据。 Shannon信息论：在噪声环境下，可靠地、安全 地、有效地传送信息理论 ----狭义信息论 “信息”的定义 仙农从研究通信系统传输的实质出发，对信息做出了科学的定义； 仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 因此, 对于收信者来说, 通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多； “信息”是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。 自信息 定义：若事件x的概率为p(x)，则称 或 为事件x的自信息量，简称x的自信息. （自）互信息量定义 互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量； 互信息量可能为正数、负数、0； 平均互信息量 定义 与其他熵的关系 I(X;Y) = H(X) - H(X|Y) I(X;Y)=H(Y) - H(Y|X) I(X;Y)=H(X)+H(Y)-H(X,Y) 表达平均互信息量的熵I(X;Y), 是确定通过信道的信息量的多少，因此称它为信道传输率或传信率。 熵的含义 性质 熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。 熵表示事件集合中事件发生后，每个事件提供的平均信息量； 熵表示事件发生前，集合的平均不确定性； 信道中熵的信息流图 H(Y|X) :信道散布度； H(X|Y) :信道含糊度； 它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，是减低信道传信能力的基本原因。 各类熵与集合图的类比 信道容量的计算 通常计算一个信道的信道容量是比较麻烦的，甚至是不可能精确计算出来的，这是因为需要对所有可能的输入信号的概率分布来计算I(X;Y)，从中找出最大可能的一个作为信道容量; 率失真函数的计算 经典数据压缩理论 信息论中的信源编码理论解决的主要问题： （1）数据压缩的理论极限 （2）数据压缩的基本途径 最大离散熵定理的应用 对于同一个信源其总的信息量是不变的，如果能够通过某种变换（编码），使信源尽量等概率分布，则每个输出符号所独立携带的信息量增大，那么传送相同信息量所需要的序列长度就越短。 * * 信源 编码器 信道 译码器 信宿 噪声源 通信系统模型 信息论的研究对象是这种统一的通信系统模型。 编码理论与技术 有效性编码：压缩信源的冗余,从而提高信息的传输效率,主要是针对信源的统计性进行编码,故也称为信源编码。 可靠性编码：一般增加信源的冗余,有以提高信息传输的可靠性, 主要是针对信道的统计性进行编码,故也称为信道编码 安全性编码：将信源的明文编码成密文，提高通信的安全性。 xi yj 信道 p(xi): 发送端发送 xi 的概率；