第二章 信息量和熵.ppt

连续随机变量的微分熵 HC(XY) HC(Y | X)， HC(Y | X) ≤HC(Y) 互信息与微分熵 I(X ; Y)＝HC(X)－HC(X | Y)＝HC(Y)－HC(Y | X) ＝HC(X)+HC(Y)－HC(X, Y) HC(X, Y)＝HC(X)+HC(Y)－I(X ; Y) 均匀随机变量的微分熵 例2.7.2 设X~U(a, b)，求X的微分熵（我们将发现， X的微分熵未必非负）。 正态随机变量的微分熵 例2.7.3 设X~N(m, σ2)，求X的微分熵（我们将发现， X的微分熵未必非负）。 正态随机变量的微分熵 熵功率 微分熵不具有非负性 例2.7.3 练习： 试求指数分布连续信源的熵 微分熵的极大化 1.峰值功率受限 均匀分布微分熵最大：HC(X) ≤log 2M 2.平均功率受限 高斯分布微分熵最大 3.平均功率大于等于熵功率 习题 10个硬币中有一个重量偏轻，其他9个为标准重量。在不用砝码的天平上至多称多少次，就能发现这个轻的硬币？怎样称？用天平称的信息论含义是什么？ 相对熵和条件相对熵 相对熵用于度量两个概率分布P(x)与Q(x)的距离 两个随机变量集合的条件相对熵定义为 相对熵和条件相对熵满足可加性 熵的唯一性 熵函数的形式是唯一的 对称性 扩展性 可加性 极值性 2.3 离散集的平均互信息量 平均互信息量 定义2.4.1(平均互信息量) 给定一个二维离散型随机变量{(X, Y), (xk, yj), rkj, k=1~K; j=1~J}（因此就给定了两个离散型随机变量{X, xk, qk, k=1~K}和{Y, yj, wj, j=1~J}）。X与Y的平均互信息量定义为如下的I(X; Y)： 平均互信息量 注意：事件对(xk, yj)的互信息量值为I(xk; yj)。此外，可以定义半平均互信息量I(xk; Y)和I(X; yj)。 平均互信息量的性质 对称性 I(X;Y)=I(Y;X) 平均互信息用熵与条件熵表示 平均互信息与熵的关系: I(X;Y) ≤H(X) or H(Y) 若X是Y的确定的函数X=g(Y)，则I(X;Y)=H(X)≤H(Y); 若Y是X的确定的函数Y=g(X)，则I(X; Y)=H(Y)≤H(X)。 平均互信息量 一般印象 （平均互信息量I(X; Y)的各种性质与我们对“互信息量”这个名词的直观理解非常吻合）。 一般情形：总有0≤I(X; Y)≤min{H(X), H(Y)}。 一种极端情形：若X与Y相互独立，则I(X; Y)=0。 另一种极端情形：若X、Y中有一个完全是另一个的确定的函数，则I(X; Y)=min{H(X), H(Y)}。 平均互信息量 H(X) H(Y) I(X;Y) H(Y|X) H(X|Y) 平均条件互信息与联合互信息 链式法则 熵的链式法则 平均互信息量的链式法则 信息不等式与信息处理定理 凸函数 凸集R：a，b属于R，qa+(1-q)b也属于R，其中0≤q≤1 概率矢量： 矢量a的所有分量非负，且和为1 概率矢量全体所构成的区域R是凸的 上凸函数 下凸函数 凸函数的性质 定理2.5.1：如果函数f(x)的二阶导数是处处非负，则f(x)是严格下凸的。 f(a)是上凸的，－f(a)是下凸的 f1(a),…,fL(a)是R上的上凸函数，c1,…,cL是正数，c1f1(a)+…+cLfL(a)也是上凸函数 K-T条件 f(a)是定义域R上的上凸函数，a是概率矢量。偏导数 存在且连续， f(a)在R上为极大的 充分必要条件 其中l为一常数。 信息不等式 基础不等式:对于任意的x0, lnx≤x-1,等号成立当且仅当x=1 Jensen不等式： f(a)是上凸函数，E[f(a)]≤f[E(a)],E为求数学期望 信息散度不等式： D(p||q)≥0,等号成立当且仅当 对所有的x，p(x)=q(x) 信息不等式 互信息量不等式：I(X;Y)≥0 证明：I(X;Y)=D(p(x,y)||p(x)p(y))≥0 最大熵定理：H(X)≤log|X|，|X|是X中元素的数目，等号等概的时候成立。 条件降低熵：H(X|Y) ≤H(X),X与Y独立时等号成立 信息不等式 对数和不等式：a1,a2,…an和b1,b2,…bn都非负 Fano不等式 可以弱化为： 信息处理定理 Z出现情况下，X和Y独立 系统1 系统2 X Z Y 信息处理定理 熵的性质－凸性 相对熵的凸性：D(p||q)是概率分布对(p,q)的下凸函数： H(P)是P的上凸函数 记离散型随机变量X的事件为1，2，…，K。 记X的概率分布