绪论 信道编码教学文稿.pptVIP

信息论与编码基础Information Theory and code techniques 五邑大学信息学院 曾军英 Tel: ; 绪论 ? ?????????? ?信息与编码 ?????????? ?编码的分类与作用 ?????????? ?信息论与编码技术的发展及应用 ?????????? ?授课内容 ?????????? ?要求及评分标准 ;? §1 信息与编码 1? 什么是信息？ 信息是消息中有意义的那一部分内容 2????消息、信息与信号的关系 信息蕴涵于消息之中，信号是消息的表现形式 编码：是为了提高通信或计算机存储系统的有 效性、可靠性或安全性（或其他目的）对消息进行的某种变换。 信息论：研究信息及其度量、信道容量、编码所能达到的理论极限等内容的学科，又称为通信的数学理论，对通信具有重大的指导作用。 ;信息的概念;消息：用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息 ，以实践为基础，通过抽象思维，对客观事物规律性的概括。 情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识 。;什么是信息 关于信息的科学定义，到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。 1928年，哈特莱(R．V．L Hartley) 在《信息传输》一文中提出：发信者所发出的信息，就是他在通信符号表中选择符号的具体方式 局限性： 定义不涉及到信息的价值和具体内容，只考虑选择的方式。 即使考虑选择的方法，但没有考虑各种可能选择方法的统计特性。 ;1948年，维纳(N．Wiener) 在《控制论--动物和机器中通信与控制问题》一书中，指出：“信息是信息，不是物质，也不是能量”。将“信息”上升到“最基本概念”的位置。 后来，维纳在《人有人的用处》一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。” 局限性： 把信息与物质、能量混同起来。所以，维纳关于信息的定义是不确切的。;1948年，???农（C.E.Shannon） 发表了一篇著名的论文，“通信的数学理论”。 他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。 信息是事物运动状态或存在方式的不确定性的描述。 ;相结合逐步发展而形成的一门新兴科学 ;对信息论的研究内容一般有以下三种理解。 狭义信息论（经典信息论）：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称为香农信息论。 一般信息论（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。 广义信息论：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。;信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的学科。 它的主要目的是提高信息系统的可靠性、有效性、必威体育官网网址性和认证性，以便达到系统最优化； 它的主要内容(或分支)包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。 本课程讨论香农信息理论及编码理论 ; 信息论发展简史与现状 ;1946年柯切尔尼柯夫 的学位论文“起伏噪声下的潜在抗干扰理论”，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题 1948年香农的权威性长文“通信的数学理论”，讨论了信源和信道特性，1949年香农“噪声中的通信”，上述两篇文章奠定了现代信息论的理论基础 此后，在基本理论和实际应用方面，信息论都得到了巨大的发展;信息论研究现状 在香农理论基础上给出的最佳噪声通信系统模型近年来正在成为现实； 在噪声中信号过滤与检测基础上发展起来的信号检测理论和抗干扰编码基础上发展起来的编码理论已成为现代信息论的两个重要分支； 此外，模糊信息处理、相对信息处理、主观信息处理、智能信息处理、自动化信息控制等大量崭新课题的研究也相继展开，使信息理论的面貌一新，并将大大促进信息科学的发展。;;通信系统模型; 编码器：把消息变换成适合于信道传输的信号。 信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。 信道编