北航信息论讲义(2讲).pdf

信息论 第2讲 北京航空航天大学 201教研室 陈 杰 第一章小 结 1. 信息论：经典信息论 工程信息论 广义信息论 2. 信息的概念：通俗信息概念 广义信息概念 概率信息概念 3. 信息：抽象概念，研究对象，含于消息 消息：比较具体，非物理量，信息的载荷者 信号：最具体，表示消息的物理量，可测量、 可显示、可描述，消息的载荷者 4. 通信系统的模型： 2 第一章小 结（续） 通 信 系 统 干扰源 窃听者 模 型 3 第二章 信息的统计度量 内容提要 2.1 自信息量和条件自信息量 2.2 互信息量和条件互信息量 2.3 离散集的平均自信息量 2.4 离散集的平均互信息量 2.5 连续随机变量的互信息和相对熵 4 回 顾 def I x log p x 1. 自信息量：简单事件     i i def 联合事件 I x y log p x y     i j i j def 2. 条件自信息量： I xi | y j log p xi | y j  3. 互信息量： I(x ; y ) def log p (x i | y j ) log 1 log 1 i j p (x ) p (x ) p (x | y ) i i i j 