信息论形成及发展.pptVIP

信息论与编码Information Theory Coding主讲 张丽英 ; 总学时： 48 理论课： 40 习题测试： 8 周学时： 6 8周课;教材：《信息论与编码》 主编 曹雪虹 ; 本课主要介绍信息的基本概念，信息论研究的对象、目的和内容，信息论发展简史及现状。 介绍了信息论三个基本概念，信源熵、信道容量和信息论失真函数，以及相关的编码定理，信源编码、信道编码、安全编码。;目录;第一章 绪论§1.1 信息论的形成和发展;一、什么是信息; 20世纪通信技术的发展推动了信息理论的研究. 美国科学家H.Nyquist 于1924年解释了信号带宽和信息速率之间的关系. 美国科学家L.V.R.Hartley 于1928年开始研究通信系统传输信息的能力，给出了信息的度量方法. 美国科学家C.E.Shannon 于1948年发表的著名论文《通信的数学理论》 A Mathematical Theory of Communication奠定了信息论的理论基础. ; C.E.Shannon针对人类的通信活动提出以下论点： （1）形式化假说：通信的基本问题是消息的接收端精确地或近似地复制发送端所挑选的消息。通常消息是有意义的，但通信的语义方面的问题与工程问题是无关的。 （2）非决定论：实际的消息总是可能发生的消息集合中挑选出来的，因此通信系统必须设计得对每一种选择都能工作，因为各种消息的选择是随机的，设计者事先无法知道什么时候会选择什么消息来传送。 （3）不确定性： 两种情况下有通信的需要，一是自己有某种的消息要告知对方，而估计对方“不知道”该消息；二是自己有某种“疑问”要询问对方，估计对方能作出一定的解答。 ; 1) 狭义信息论：主要研究信息的测度、信道容量（信道的传输能力）、信源及信道的编码问题。这部分理论是Shannon信息论，也称基础信息论。 2)?一般信息论：也称为通信理论，主要研究信息传输的基本理论和通信的基本问题。 3)?广义信息论：除上述两方面的内容外，还包括所有与信息论有关的其它领域，如生物、遗传工程、经济、社会等领域。;1)? 通信的统计理论： 信息的度量： 确定信息的测度。 信源熵和信息速率：研究信源特性及其统计平均信息量,信源的信息速率。 信道容量：研究信道传输能力; 2)? 各种信源的统计特性 文字的统计特性：文字的冗余度及可压缩性; 语言的统计特性：语音的统计特性及可压缩性; 图象的统计特性：图象的处理,图象的压缩格式; 二元信源的统计特性：二元信息的压缩算法。 ;有效性编码：压缩信源的冗余,从而提高信息 的传输效率,主要是针对信源的 统计性进行编码,故也称为信源 编码。; 另: 3、信息的传输效率和利用率，扩频、频带压缩、 码分复用、宽带高速信道； 4、抗干扰理论及相关技术调幅、调频； 5、噪声中信号检测理论及技术； 6、生物感官特性，听觉特性，视觉特性 脑思维特性的研究； 7、与其它学科有关的，研究生物医学的关 系、光学的关系等。 ; ;3）信号：把消息换成适合信道传输的物理量（如：电信号，光信号，声信号，生物信号 等）。这种物理量称为信号。是消息的载 体。 4）数据：载有信息的可观测、可传输、可存储、 可处理的信号。 ;六、信息的特征;按信息的性质分类：语法信息，语义信息和语 用信息;;按信息的传递方向分类：前馈信息和反馈信息；;§1.2通信系统的模型;2）一般的通信系统模型;;;3)信息论与编码与其他学科的关系：;第二章 信 源 及 信 源 熵;1、连续信源――指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源。;其又分为离散无记忆信源,离散有记忆信源 ; 当记忆长度为m+1时称这种记忆信源为m阶马尔可夫信源，即信源每次发出的符号与前m个符号有关，与更前面的符号无关。假设m阶马尔可夫信源输出的随机序列为X=X1 X2…Xi-1Xi …XN。在这序列中某i时刻的随机变量X取什么符号只与前m个随机变量Xi-1 Xi-2… Xi-m取什么符号有关，与其更前面的随机变量以及后面的随机变量取什么符号都无关。这样就可以用马尔可夫链来描述此信源。 ;定义一个离散无记忆信源是由n个符号消息组成的集合: X={ x1，x