北航信息论讲义(1讲).pdf

信息论 北京航空航天大学 201教研室 陈 杰 信 性 检 息 F 统 i 假 s 计 分 学 P 验 h 学 e 学 设 均 力 r 理 E 热 Information A 近 物 渐 theory 不等式 数学 信息理论同其他学科的关系 内容安排 第一章 绪论 第二章 信息的统计度量 第三章 离散信源 第四章 离散信道 第五章 无失真信源编码 第六章 有噪信道编码 第七章 限失真信源编码 第八章 网络信息论基础 参考书目 傅祖芸， 《信息论-基础理论与应用》，2001 电 子工业出版社 朱雪龙 ， 《应用信息论基础》，2003年清华大 学出版社 傅祖芸， 《信息理论与编码——学习辅导及精 选题解》，2004年电子工业出版社 陈杰，徐华平，周荫清 《信息论习题集》， 2005年清华大学出版社 第一章绪论 信息的概念 信息、消息与信号 通信系统模型 1.1 信息论 信息论(Information Theory) 是应用数理统计 方法研究信息的传输、存储和处理的一门学 科，主要研究可能性和存在性问题。 信息技术(Information Technology)主要研究 如何实现、怎样实现的问题。 信息论从诞生至今已有50多年的历史，包括：  经典信息论(香农信息论)  信息论  工程信息论(一般信息论)   广义信息论(信息科学) 1.1.1 经典信息论(香农信息论) 亦称香农信息论、数学信息论、狭义信息论、 近代信息论 创始人是美国数学家C.E.Shannon(香农)， 1948年发表 《A Mathematical Theory of Communication》奠定了经典信息论的基础 主要研究通信系统中的数学规律，主要内容 ①信源与信息量 ②信道与信道容量 ③信源与信道间统计匹配 ④信源与信道编码定理 1.1.2 工程信息论(一般信息论) 工程信息论主要研究通信系统及系统设备中 的最佳工作规律和最佳设计的一门科学。 主要应用于通信领域，主要内容 ①信源编码理论与方法 ②信道编码理论与方法 ③信号检测、估计理论