辅导-第2章-2.doc

信息的度量 2.1 基本要求 通过本章学习，了解信源的模型和分类，掌握自信息量和互信息的定义和性质，掌握离散信源的熵及其性质、平均互信息的性质，掌握无记忆信源的扩展，了解离散有记忆信源的熵，了解马尔可夫信源的熵，掌握离散信源的信息率的概念，掌握连续信源的微分熵以及微分熵的极大化，了解连续信源的熵功率的概念。 2.2 学习要点 2.2.1 信源的分类 2.2.1.1根据信源的参数和值分类 信源在时刻输出是随机变量。取值于符号表，表示为 ，其中，。 根据参数和值的性质，可将信源分为四类： 时间离散空间离散信源：和均离散 时间离散空间连续信源：离散，连续 时间连续空间离散信源：连续，离散 时间连续空间连续信源：和均连续 为了数字化存储与传输的要求，时间连续信源均要通过采样变为时间离散信源，因此通常简单化表示如下： 空间离散信源→离散信源 空间连续信源→连续信源 2.2.1.2根据信源的记忆特性分类 无记忆信源 N维分布函数： （2.1） 各符号间统计无关。 有记忆信源各符号间统计相关。 2.2.1.3根据信源的平稳特性分类 平稳信源：序列的统计特性与时间的推移无关。 （2.2） 平稳信源也是有记忆的，只是记忆的长度有限。 N阶平稳信源：任一时刻的输出，只与前面N-1时刻、…、的输出有关。 平稳信源只需考虑任意N个相邻时刻的输出序列： （2.3） 独立同分布信源：无记忆信源各个时刻的随机变量是同分布的。 非平稳信源：不满足上面条件的信源。 2.2.2 信源的数学模型 2.2.2.1离散无记忆信源的数学模型 离散无记忆信源（DMS）的数学模型可用概率空间表示： （2.4） 也可用下式表示 （2.5） 若满足约束条件 ，则称为完备信源。 2.2.2.2 非理想观察模型 非理想观察模型是实际通信或信息传递系统的抽象，由它可引出信息传递的一些共性问题，并能简明的解释一些理论问题。 对信源进行观察，观察结果为（），是信源的取值。一般来说，由于有干扰存在，观察过程是非理想的。图2.1是、的非理想观察过程。 图2.1 非理想观察过程 条件概率，表示了观察过程中干扰的有害影响。 条件概率是观察到之后关于输入的概率，称为符号的后验概率。 图2.2 非理想观察模型 非理想观察模型见图2.2所示。 信息是不确定性的减小，通过对信源输出的观察，认识主体所获得的信息为 信息 = 先验不确定性 -- 后验不确定性 （2.6） 2.2.2.3连续信源的数学模型 若是连续信源（连续随机变量），其取值区间，统计特性由定义于上的概率密度函数描述。则连续信源的数学模型为： （2.7） 2.2.3 离散信源的自信息 信源的自信息分为自信息量、条件自信息量和联合自信息量三种，用于量度信息的不确定性的大小。 2.2.3.1 自信息量 设信源取值的概率为，的自信息量定义为 ， （2.8） 表示取值的先验不确定性的大小。若对数底为2，单位为比特（bit）；对数底为，单位为奈特（nat）；对数底为10，单位为迪特（dit）或哈特（Hart）；对数取正整数为底，则称为进制单位。 2.2.3.2 联合自信息量 联合自信息量是自信息量的自然推广。考虑信源和的联合空间，即，其概率空间为： （2.9） 且联合概率是完备的，即 （2.10） 二元联合符号的联合自信息量定义为 /二元符号 （2.11） 它表示代表联合符号的先验不确定性。 2.2.3.3 条件自信息量 定义在条件下的条件自信息量为 /符号 （2.12） 在条件下的条件自信息量可类似定义。 表示在观察到符号的条件下还剩下的不确定性。代表输入且观察到时干扰引入的不确定性。 2.2.3.4 自信息量的性质 概率为0时，相应的自信息量无意义。 非负性。三种自信息量均非负。 可加性。 推广到多维空间： （2.13） 该式称为自信息量可加性的链公式。若所有变量均统计独立，则有 （2.14） 2.2.4 离散信源的互信息量及其性质 2.2.4.1互信息量的定义 当观察输入为，观察结果为，从观察结果中得到的有关输入符号的信息，记为，表示与之间的互信息量。 （2.15） 互信息量的概率计算式：