互信息.pptVIP

* 马尔可夫链 马氏链模型描述一类重要的随机动态过程的模型：?系统在每个时期所处的状态是随机的；?从一时期到下时期的状态按一定概率转移；?下时期状态只取决于本时期状态和转移概率已知现在，将来与过去无关（无后效性）； 马氏链的两个重要类型 1. 正则链~ 从任一状态出发经有限次转移能以正概率到达另外任一状态； 2. 吸收链~ 存在吸收状态（一旦到达就不会离开的状态）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态． * 如果随机变量 与 关于 条件独立，即 称 为马尔可夫链； 齐次马尔可夫链: 如果转移概率与所处的状态 无关,即 马尔可夫链 * 定理 若 是一个马尔可夫链，则 若是齐次马尔可夫链，则 马尔可夫链 * 数据处理定理 : 当消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 （X-Y-Z构成马氏链） 第一级处理器 第二级处理器 X Y Z 输入 图示 级联处理器 平均互信息（应用） * 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义] 信息不增原理—— 每经一次 处理，可能丢失一部分信息 P(Y/X) P(Z/Y) X Y Z 平均互信息（应用） * 符号xi与符号对yj zk之间的互信息量定义为： I(xi;yjzk)=log 　　　定义 条件互信息量是在给定zk条件下，xi与yj之间的互信息量，定义为： I（xi;yj|zk）=log （三维）平均互信息量 * I（xi;yjzk）＝I（xi; zk）＋I（xi;yj |zk） 说明: 一个联合事件yjzk出现后所提供的有关xi的信息量I(xi;yjzk)等于zk事件出现后提供的有关xi的信息量I（xi;zk）,加上在给定zk条件下再出现yj事件后所提供的有关xi的信息量 I（xi;yj/zk）． （三维）平均互信息量 I（xi;yjzk）＝I（xi; yj）＋I（xi;zk /yj） * I（xi;yjzk)= I（xi;zkyj) 证明: 因为 所以 I（xi;yjzk）= I（xi;zkyj） （三维）平均互信息量 * I（X;YZ）＝I（X;Y）＋I（X;Z|Y） I(X;YZ)＝I(X;Z)＋I(X;Y/Z)  I(YZ;X)＝I(Y;X)＋I(Z;X/Y) 三维联合集XYZ上的 平均互信息量 * 数据处理定理 I(X;Z) ≤ I(X;Y) I(X;Z) ≤ I(Y;Z) [意义] 信息不增原理—— 每经一次 处理，可能丢失一部分信息 P(Y/X) P(Z/Y) X Y Z 平均互信息（应用） * 证明: 图中 X是输入消息集合 Y是第一级处理器的输出消息集合 Z为第二级处理器的输出消息集合 假设：在Y条件下X与Z相互独立 可得： 即得 (1) * 而且 (2) { 又由 I(X;YZ)＝I(X;Y)＋I(X;Z/Y) 和 I(X;YZ)＝I(X;ZY)＝I(X;Z)＋I(X;Y/Z) 得: I(X;Z)= I(X;Y)＋I(X;Z/Y) - I(X;Y/Z) 综合(1)、(2)得： I(X;Z)=I(X;Y) 将 I(YZ;X)＝I(Y;X)＋I(Z;X/Y) 中的X代替Y、Y代替Z、 Z代替X得 I(XY;Z)＝I(X;Z)＋I(Y;Z/X) （＊） 再将式（＊）右边的X和Y互换得： I(XY;Z)＝I(Y;Z)＋I(X;Z/Y) （＊ ＊） * 由式（＊）和（ ＊ ＊）得： I(X;Z)＋I(Y;Z/X) =I(Y;Z)＋I(X;Z/Y) 所以，有 I(X;Z)=I(Y;Z)＋I(X;Z/Y) -I(Y;Z/X) I(X;Z) I(Y;Z) 综合(1)、(2)得： 证毕。 结论：数据处理过程中只会失掉一些信息，绝不会创造出新的信息，所谓信息不增性。 * 例题1 猜宝游戏. 3扇门