编码理论章 1.pptVIP

第1章 绪论;第1章 绪论 1.1 信息传输系统 1.1.1信息传输的目标 1.1.2信息传输系统模型 1.2 信息传输系统的发展、研究目标与现状 1.2.1 信息论的形成与发展 1.2.2 信源压缩编码的发展及研究目标 1.2.3 信道纠错编码的发展及研究目标 1.2.4 密码编码学的发展及研究目标 1.2.5 组合编码的发展及研究目标 1.2.6 信息论方法的应用及现状;第1章 绪论;1.1 信息传输系统;1.1.2 信息传输系统模型;掐递历蔡怠催句蘑公颅茸迄搁意竖篷矫框帽哟惧锐琵森恍瞅委俘脸赁趁铣编码理论章 1编码理论章 1;该模型按功能可分为五部分 信源 编码器 信道 译码器 信宿;1．2信息传输系统的发展、研究目标与现状;1.2.2 信源压缩编码的发展及研究目标 1.古典信源编码 (1)无失真信源编码 ①信源统计特性已知 1948年,香农在“通信的数学理论”的论文中，给 出了几个重要而带有普遍意义的结论。即在通信系统中采用适当的编码后能够实现高效率和高可靠性地传输信息。 从无失真信源编码定理出发，1948年，香农在论文中提出并给出了简单的编码方法(香农编码)，1952年，费诺(Fano)提出了一种费诺码，同年霍夫曼(D．A．Huffman)构造了一种霍夫曼编码方法，并证明了它是最佳码。算术码就是一种非块码，它是从整个序列的概率的匹配来进行编码的。; ②信源统计特性未知 通用编码就是在信源统计特性未知时，对信源进行编码，且使编码效率很高的一种码。70年代末，以色列学者A.lempel和J.ziv提出一种语法解析码，习惯上简称LZ码。1977年他们首先提出这种基于字典的方法，1978年他们又提出了改进算法，分别称为LZ77和LZ78。1984年T.A.welch以LZ编码中的LZ78算法为基础修改成一种实用的算法，后定名为LZW算法。LZW算法已经作为一种通用压缩方法，广泛应用于二元数据的压缩。;(2)限失真信源编码 1948年香农在其论文中已体现出了关于率失真函数的思想。1959年他发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理。率失真信源编码理论是信源编码的核心问题，是频带压缩及数据压缩的理论基础，直到今天它仍是信息论研究的课题。; 2.现代信源编码 虽然经典方法依据了信源本身固有的统计特性和利用人视觉系统的某些特性进行压缩编码，但是利用得还不够充分，且伴随着感知生理以及心理学的发展，人们越来越清楚地认识到：人的视觉感知特点与统计意义上的信息分布并不一致，即统计上需要更多的信息量才能表征特征，对视觉感知可能并不重要。从感知角度来讲，无需详细表征这部分特征。这时，编码技术的研究就突破了传统香农理论的框架，注重对感知特性的利用，使得编码压缩效率得以极大提高，因此称其为现代压缩编码方法。 ;从经典信源编码理论出发，不难得到信源编码的两种基本途径： 其一是设法改变信源的概率分布，使其尽可能地非均匀，再用最佳编码方法使平均码长逼近信息熵； 其二是联合信源的冗余度也寓于信源间的相关性之中，去除它们之间的相关性，使之成为或差不多成为不相关信源。 基于基本途径一的编码方法有霍夫曼编码、算术编码、游程编码等，其压缩效率都以其熵为极限值; 基于基本途径二的编码方法有预测编码、变换编码、混合编码、矢量量化等，同时也大都受信息熵的约束。; 1.2.3 纠错编码发展及研究目标 1950年汉明(R．W．Hamming)发表的论文“检错码与纠错码”是开拓编码理论研究的第一篇论文。1952年费诺给出并证明了费诺不等式，并给出了关于香农信道编码逆定理的证明； 1972年S．Arimoto和R．Blahut分别发展了信道容量的迭代算法；1948年香农首先分析并研究了高斯信道问题；1964年J．L.Holsinger发展了有色高斯噪声信道容量的研究；1969年M．S．Pinsker提出了具有反馈的非白噪声高斯信道容量问题；可以说60年代是代数编码理论发展的鼎盛时朗。70年代出现了Goppa 码，从而又把编码理论推向了一个新的高峰。 ; 汉明码出现后，人们把代数方法引入到纠错码的研究，形成了代数编码理论。但代数编码的渐近性能很差，因此，于1960年左右有人提出了卷积码的概率译码，并逐步形成了一系列概率译码理论。 香农1961年的论文“双路通信信道”开拓了网络信息论的研究。