第4讲随机变量之间的信息关系.doc

第4讲 随机变量之间的信息关系 术语：对于任何随机变量X和Y，我们用p(x)，p(y)分别表示Pr{X=x}和Pr{Y=y}，p(xy)表示概率Pr{X=x,Y=y}，p(y|x)表示概率Pr{Y=y|X=x}。 三个平均信息量 定义1. 设X,Y是随机变量。 X与Y的联合熵H(XY)定义为联合自信息I(XY)的期望，即 Y在X下的条件熵H(X|Y)定义为条件自信息I(X|Y)的期望，即 X与Y的（平均）互信息定义为互信息I(X;Y)的期望，仍记为I(X;Y)，即 根据定义，我们有 事实上， H(Y|X)的物理含义： （1）在已知X的取值的条件下，Y的取值所提供的新息量的期望值。 （2）在已知X的取值的条件下，Y的取值尚存在的不确定性。 定义2. 设X1,X2,…是一个随机变量序列。 1.（联合熵）H( X1,X2,…XN)，称为N维联合熵，简记为H(XN) 2.（条件熵）H(XN+1|X1X2 …XN)，称为N阶条件熵，简记为HN+1。 3.（互信息） I (XN+1;X1X2 …XN)，简记为 I(XN+1;XN) 记号：以后对于任何N，我们将N维随机向量X1,X2,…XN记为XN。 熵函数的链法则 根据定义，不难证明 H(XY)=H(X)+H(Y|X) （1） H(XY|Z)=H(X|Z)+H(Y|ZX) （2） 定理3.（熵函数的链法则）对于随机变量序列X1,X2,…和任何N≥1 H(X1X2…XN)=H(X1) + H(X2|X1) + … + H(XN|X1X2 …XN-1) 即 其中H1=H(X1)。 证明 应用上述等式（1）和（2），对N用归纳法可证。细节略。证毕 意义：将多个随机变量的联合熵转化为这些随机变量的条件熵之和。 提问：下述等式是否成立？ H(XY)=H(Y)+H(X|Y) 推论 H(X|Y)=H(XY)-H(Y) 注：有的教材，例如傅祖芸、赵建中所编教材第48页，将链法则称为熵的可加性或者强可加性。 研究课题3. 熵函数的链法则与其可加性的关系。 互信息等式 定理4. 设X，Y是随机变量。 （1）I(X;Y)=H(X)+H(Y)-H(XY) （2）I(X;Y)=H(X)-H(X|Y) 证明 1） 根据定义，对于X和Y的任何取值x,y，有 I(x;y)=I(x)+I(y)-I(xy) 所以I(X;Y)=H(X)+H(Y)-H(XY) 2）根据（1）和熵的链法则立即得命题（2）成立。 证毕 条件熵与互信息的非负性 定理5. 设X,Y是随机变量，则 （1）H(Y|X) ≥0，其中等号成立当且仅当Y是X的函数，即X的取值唯一地确定Y的取值。 （2）I(X;Y)≥0，其中等号成立当且仅当X和Y是统计独立的。 证明 （1）根据定义 由于上述加式中各加项都≤0，所以该加式=0的充要条件是各加项=0，即恒有p(y|x)=1。这表明当X的取值确定时，Y的取值随即确定。 （2）由于0log0=0，所以在下列表达式中，不妨设 p (x,y)≠0。根据定义，我们有 其中≥来自于对数函数的Jensen不等式。由于其中的对数函数是严格的上凸函数，根据Jensen不等式，上述不等式中等号成立的充要条件是是常量。此时，由于 所以对于任何x,y，p(x)p(y)=p(xy)，即X与Y是统计独立的。 证毕 条件熵与联合熵的单调性 根据定理3，I(X;Y)=H(X)-H(X|Y)。再根据定理4，I(X;Y)≥0。因此有 H(Y|X)(H(Y) 其中等号成立的充要条件是X与Y统计独立。一般地我们有 定理6. H(Y|X1X2…XN)≥H(Y|X1X2…XN XN+1) 意义：已知的信息越多，随机变量的不确定性越小。 根据熵函数的链法则和条件熵的非负性，可知熵函数具有如下的单调递增性： 思考 其中各等号成立的充要条件是什么？ 两个随机变量之间的信息关系图 信息关系图在通信系统中的含义 设A，B是两个通信设备，二者之间用一个信道连接，构成通信系统。 在充满电子噪声的连接环境中，数据在传输过程中有可能产生误码，即接收符号与发送符号不同，从而丢失所发送的信息。这是信息论和通信技术必须解决的主要问题之一。用前面学习的各种熵和互信息，可以表示信号在通信系统中的“一次”传输中的信息量变化情况。 令X是设备A所发出的一个信号，Y是设备B所接收的信号。 单符号熵：H(X)是该信源在（