《信息论与编码》课程设计论文--信息论的基本理论探究.docVIP

《信息理论与编码》 课程论文 题目： 信息论的基本理论探究 学生姓名：　　　　　　 学　　号：　　　　 系　　别：　　 专　　业：　 任课教师：　　 　 年 月 日 目 录 摘 要 2 关键词 2 1 前言 3 2 信息的度量 4 2.1 概述 4 2.2 离散信源及其信息度量 4 2.2.1 离散随机信源的自信息与信息熵 4 2.2.2 离散平稳信源 5 2.2.3 马尔可夫信源 6 3 离散信道 6 3.1 概述 6 3.2 平均互信息 7 3.3 离散信道的信道容量 7 4 连续信道 7 5 无失真信源编码 8 5.1 信源编码到无失真编码的概述 8 5.2 定长编码 9 5.3 变长编码 9 5.3.1 概述 9 5.3.2 香农编码 10 5.3.3 费诺编码 10 5.3.4 霍夫曼编码 11 6 本次课程论文总结 11 参考文献 12 信息论的基本理论探究 摘 要 信息是从人类出现以来就存在于这个世界上，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。主要研究如何提高信息系统的可靠性、有效性、必威体育官网网址性和认证性，以使信息系统最优化。在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域，并且应用与众多领域：编码学、密码学与密码分析、数据压缩、数据传输、检测理论、估计理论等。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信源熵；有记忆，无记忆离散和连续信道的信道容量，平均互信息；无失真信源编码相关理论。 关键词 信息度量；离散和连续信源；信道容量；平均互信息；信源编码 1 前言 被称为“信息论之父”的美国科学家香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。他为信息论奠定了理论基础。后来其他的科学家做出了更深入的探究，使信息论到现在形成了比较完整的理论体系。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息不同于情报、知识、消息、信号等概念。信息论所包含的含义比其他几种理论概念更加广泛，更具有概括性。情报的定义是对某个特定的对象所见、所闻、所理解而产生的知识，情报的含义要比“信息”窄得多。知识是人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到的价值的、人们所需的信息。消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主管思维活动的状态表达出来的就成为“消息”。所以信息不等同于消息，而信号携带消息，是消息的运载工具，所以信息也不等同于信号。信息是事物运动状态或存在方式的不确定性的描述，这就是香浓信息的定义。 下面从信息论的一些基本理论研究。 2 信息的度量 2.1 概述 信息这一概念是比较抽象的，它不像通常的长度，重量等概念，有一个比较直观的印象，信息必须要有一个比较容易用来分析的度量的数学工具。这样才方便人们能够更好的认识和理解它。香农对信息的度量给出了严格的数学定义。 2.2 离散信源及其信息度量 2.2.1 离散随机信源的自信息与信息熵 在通信系统的各种信源中，离散随机信源是最基本的一种信源，信源输出是单个的符号的消息，并且消息之间是两两互不相容的。我们知道，事件发生的不确定性与事件发生的概率有关：事件的发生概率越小，不确定性就越大，事件发生的概率越大，不确定性就越小，对于发生概率为1的必然事件就不存在不确定性。设一离散信源的概率空间为： ... ... 即，如果知道已发生，则该事件所含有的信息量称自信息，表达式为： 上面的自信息是指某一信源发出某一消息所含的信息量，但所发消息不同，它们所含信息量也就不同，所以自信息不能作为整个信源的信息测度，我们定义平均自信息量，即对每个事件各自所携带的信息量做一个加权平均，也称信息熵，表示如下： 信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。这里面有一个最大离散熵定理，表明:离散信源情况下，对于具有q个符号的离散信源，只有在q个信源符