信息论第二章信源及其编码.pptVIP

* * 第2章 信源及其信息量 2.1 单符号离散信源 2.3 连续信源 2.2 扩展信源 2.4 离散信源无失真编码定理 在信源端需要解决两个问题： 一个是如何定量地描述信源，即如何计算信源的信息量； 另一个是如何有效地表示信源的输出或者说信源信息的载体形式，即信源编码问题； 信源分类 1、信源按照发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源。 离散信源是指发出在时间和幅度上都是离散分布的消息的信源，即信源输出的消息是以一个一个符号的形式出现，例如文字、字母等，这些符号的取值是有限的或可数的； 连续信源是指发出时间和幅度上都连续分布的消息的信源，如语言、图像和图形等。 2、根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源。 单符号离散信源 离散无记忆信源 无记忆扩展信源 离散平稳信源 离散有记忆信源 记忆长度无限 记忆长度有限（马尔可夫信源） 2.1.5 各种熵之间的关系 2.1.1 离散变量的自信息量 2.1.2 信息熵 2.1.3 信息熵的性质 2.1.4 互信息量 2.1 单符号离散信源 无条件概率、条件概率、联合概率满足下面一些性质和关系： 1 2 3 4 5 6 对于离散随机变量，取值于集合 单符号离散信源的数学模型为 对任一 记 2.1.1 离散变量的自信息量 需要注意 的是：大写字母X、Y、Z代表随机变量，指的是信源整体。带下标的小写字母: 代表随机事件的某一结果或信源的某个元素。两者不可混淆。 随机变量X、Y分别取值于集合 联合随机变量XY取值于集合 记 自信息量 联合 自信息量 条件自信息量 信息量 自信息量 1 定义：一个随机事件发生某一结果后所带来的信息量为自信息量。定义为其发生概率对数的负值。 单位： ?对数以2为底，单位为比特 (bit) （binary unit） ?对数以e为底，单位为奈特 (nat) (nature unit) ?对数以10为底，单位为笛特(det) (decimal unit) 或哈特 (hart) 含义： 在事件xi发生以前，等于事件xi发生的不确定性的大小； 在事件xi发生以后，表示事件xi所含有或所能提供的信息量。 三个信息单位之间的转换关系如下： 对数换底公式 1奈特≈1.443比特 1哈特≈3.322比特 例 这四种气候的自信息量分别为 : 某地二月份天气的概率分布统计如下： 自信息量具有下列性质: 1 是非负值。 对数曲线 2 3 的单调递减函数。 4 联合自信息量 2 条件自信息量 3 自信息量、条件自信息量和联合自信息量之间有如下关系式： 例：英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022， （1）分别计算它们的自信息量。 （2）假定前后字母出现是互相独立的，计算“ac”的自信息量。 （3）假定前后字母出现不是互相独立的，当“a”出现以后，“c”出现的概率为0.04，计算”a”出现以后，“c”出现的自信息量。