本_信息论与编码A_第2章连续信息的度量.pptVIP

* 第2章 信息的度量 2.1 信源的数学模型及分类 2.2 离散信源的熵 2.3 离散信源序列的熵 2.4 连续信源的互信息和微分熵 2.5 信源的冗余度 * 2.4 连续信源的熵与互信息量 连续信源X 信源输出的消息是在时间上离散，而取值上连续的、 随机的，这种信源称为连续信源。 例如遥控系统中有关电压、温度、压力等测得的连续数据。 波形信源 信源输出消息在时间上是连续的，其取值是连续的、 随机的，这种信源称为随机波形信源。 例如语音信号X(t)、电视信号X(x0, y0, t)等都是时间的连续函数，这些信源输出的消息可以用随机过程来描述。 * 2.4 连续信源的熵与互信息量 * 2.4 连续信源的熵与互信息量 连续信源的熵（微分熵、相对熵、差熵） 连续信源X * 2.4 连续信源的熵与互信息量 例2.4.1. 设X是区间(a, b)上的均匀分布，求X的熵. 注: 微分熵可能是负数. 例如, 取a=1/2, b=1, 则 h(X)= ?1 (bit). p(x)1 h(X)不表示信源的输出信息量, 它具有相对性. * 2.4 连续信源的熵与互信息量 正态信源X 密度函数: X是期望值为m,方差为?2的正态随机变量 X的熵 * 2.4 连续信源的熵与互信息量 X与Y的联合微分熵(joint differential entropy) 两个连续随机变量X与Y的联合概率密度函数 * 2.4 连续信源的熵与互信息量 在已知X的条件下关于Y的条件微分熵(condition differential entropy) 在已知X的条件下关于Y的条件概率密度函数 关系 h(X, Y )=h(X)+h(Y |X )=h(Y)+h(X |Y ) h(Y |X )?h(Y ) h(X |Y )?h(X ) * 两个连续随机变量X与Y之间的互信息为 2.4 连续信源的熵与互信息量 三个连续随机变量X、Y与Z 在已知Z的条件下，X与Y之间的互信息 X、Y与Z 之间的互信息 * 例2.4.2. 设(X, Y)是二维正态随机变量，其密度函数为: 2.4 连续信源的熵与互信息量 * 例2.4.2. 设(X, Y)是二维正态随机变量 2.4 连续信源的熵与互信息量 * 例2.4.2. 设(X, Y)是二维正态随机变量 2.4 连续信源的熵与互信息量 * 例2.4.2. 设(X, Y)是二维正态随机变量 2.4 连续信源的熵与互信息量 * 具有最大熵的连续信源 峰值功率受限条件下信源的最大熵 若某信源输出信号的峰值功率受限为P，即信源输出信号的瞬时电压限定在±P1/2内。它等价于信源输出的连续随机变量X的取值幅度受限，限于[a, b]内取值: 定理2.4.1. 设连续随机变量X满足a ?X?b ，则X的微分熵 h (X ) ? log (b?a) . 当且仅当X为均匀分布时，等号成立. 2.4 连续信源的熵与互信息量 * 2.4.1的证明：设p(X)为[a, b]上均匀分布的概率密度函数，q(X)为[a, b]上任意分布的概率密度函数 2.4 连续信源的熵与互信息量 * 定理2.4.2. 设连续随机变量X的方差为?2 ，则X的微分熵 当且仅当X为正态分布时，等号成立. 具有最大熵的连续信源 平均功率受限条件下信源的最大熵 设连续随机变量X满足: 2.4 连续信源的熵与互信息量 * 第2章 信息的度量 2.1 信源的数学模型及分类 2.2 离散信源的熵 2.3 离散信源序列的熵 2.4 连续信源的互信息和微分熵 2.5 信源的冗余度 * 2.5 信源的冗余度 信源的相对熵率 信源的实际信息熵H?与具有同样符号信息的最大熵H0的比值称为该信源的相对熵率 信源的冗余度(剩余度) 1减去相对熵率 * 2.5 信源的冗余度 英文信源的冗余度 * 2.5 信源的冗余度 汉语信源的冗余度 考虑10000个常用汉字