信息论与编码_第一章绪论.ppt

信息论与编码 Information Theory and Coding Techniques 主讲：陈金兰 课程介绍 课程类别： 学科方向课 开课对象/学期 电子信息工程专业 本科生/第5学期 学分/学时： 3/54 考 核：平时成绩30％（作业、考勤） 期末考试70％（闭卷） 课程介绍 教材： 曹雪虹、张宗橙编著，《信息论与编码》（第二版），清华大学出版社 参考书： 1.陈运、周亮等，《信息论与编码》，电子工业出版社 2.傅祖芸，《信息论—基础理论与应用》，电子工业出版社 3.方军、俞槐栓，《信息论与编码》，电子工业出版社 4.吴伯修、祝宗泰、钱霖君，《信息论与编码》，东南大学出版社 5.姜丹，《信息论与编码》，中国科学技术大学出版社 课程性质 随着科学技术的不断发展，信息的概念逐渐深化，其应用领域也不断扩展，并与现代通信、计算机科学、现代管理、系统工程等学科紧密结合，广泛地应用于我们的日常生活中。本课程旨在通过对通信系统中信息理论的介绍，使大家更深入地了解信息的概念和本质，并掌握一些基本的信息理论知识和常用的编解码的方法。 目 录 第1章 绪论 第2章 信源及信息熵 第3章 信道与信道容量 第4章 信息率失真函数 第5章 信源编码 第6章 信道编码 第7章* 加密编码 课程基本内容 一. 信息论 信息论的发展以及通信系统的模型 离散信源熵，互信息以及冗余度 二. 信源编码 定长编码，变长编码以及最佳编码 离散信源的信息率失真函数R(D) 限失真信源编码定理以及常用信源编码方法 三. 信道编码 信道模型和容量 线性分组码 卷积码 课程内容 本课程包括信息论基础和编码两大部分。 首先立足于概率论和随机过程的知识，通过各种随机变量的概率空间，给出了信息的统计模型，介绍了信息的统计度量。 以香农信息论为基础，香农三大定理及香农公式为重点，从“单符号离散系统—多符号离散系统”介绍了离散信源和信道的信息理论，然后，推广到连续系统。 重点讲授信息的概念，信息的度量和计算等一些基本问题。还学习几种常用的信源编码方法和纠错编码方法。 课程位置 基础课程 概率论 数理统计 后续课程： 通信原理 数字通信 数字图像处理 课程目标 掌握基本的信息论概念，而且要求能够和日常生活和学习结合起来，做到活学活用。 掌握信息论基本理论和理想通信系统基本理论，能够熟练解题，掌握建立数学模型和分析数学模型的方法， 掌握信源编码的原理和方法，要求能够基本上实现应用。 掌握信道编码的基本方法，并能够从信息论的角度加以理解。 学习方法 本课程只有理论介绍，显得枯燥、繁杂，不易理解，且“概率与数理统计”知识要求较高，学起来有一定难度。但只要理顺课程思路，尽快进入角色，并加以举一反三的理解，相信大家能学好该课程，切忌望而生畏。 为便于理解与掌握，适当的练习必不可少，对布置的作业最好按时独立地完成。 第一章 绪论 相结合逐步发展而形成的一门新兴科学 1.1 信息论发展简史 信息是否重要？ 一位美国科学家在诗中这样描述： 没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，没有信息的世界是混乱的世界。 可见信息的重要性。 信息论研究的对象和目的 研究对象：信息论是一门应用概率论、随机过程、数理统计和代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。 研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 1.1 信息的概念 信息是信息论中最基本、最重要的概念，既抽象又复杂 信息在日常生活中被认为是“消息”、“知识”、“情报”等 Shannon信息论的基本任务 1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统 可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端 有效是用尽可能短的时间和尽可能少的设备来传输一定信息量的消息 安全性 信息论的研究内容 狭义信息论（ shannon经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和必威体育官网网址理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 信息论发展简史 电磁理论和电子学理论对通信理论技术发展起