北邮信息论课件4.pptVIP

第4章  连续信息与连续信源;第4章 连续信息与连续信源;本章在研究第3章离散信源的基础上研究连续信源的信息量度量。 内容安排如下： 首先研究离散时间连续信源的差熵，主要是高斯信源的差熵；然后介绍连续信源最大熵定理；最后介绍连续集合之间的平均互信息、离散集合与连续集合的平均互信息。 ;本节主要内容： 1.连续随机变量的离散化 2.连续随机变量集的熵 3.连续随机变量集的条件熵 4.连续随机变量集的联合熵 5.连续随机变量集合差熵的性质 6.连续随机变量集合的信息散度 ;4.1.1 连续随机变量的离散化 ;4.1.1 连续随机变量的离散化(续);4.1.2 连续随机变量集的熵;4.1.2 连续随机变量集的熵(续);4.1.2 连续随机变量集的熵(续);4.1.3 连续随机变量集的条件熵;4.1.3 连续随机变量集的条件熵(续);4.1.3 连续随机变量集的条件熵(续);4.1.4 连续随机变量集的联合熵;4.1.4 连续随机变量集的联合熵(续);4.1.5 连续随机变量集合差熵的性质——连续熵与离散熵的类似性;4.1.5 连续随机变量集合差熵的性质(续) ——连续熵与离散熵的类似性;4.1.5 连续随机变量集合差熵的性质——连续熵与离散熵的差别 ;4.1.5 连续随机变量集合差熵的性质(续) ——连续熵与离散熵的差别 ;4.1.5 连续随机变量集合差熵的性质——连续信源变换的熵 ;4.1.5 连续随机变量集合差熵的性质(续)——连续信源变换的熵 ;4.1.5 连续随机变量集合差熵的性质(续)——连续信源变换的熵;4.1.6 连续随机变量集合的信息散度;4.1.6 连续随机变量集合的信息散度(续);本节主要内容： 1. 一维高斯随机变量集的熵 2. 多维独立高斯随机变量集的熵 3. 多维相关高斯随机变量集的熵 ;4.2.1 一维高斯随机变量集的熵 ;4.2.1 一维高斯随机变量集的熵（续）;4.2.2 多维独立高斯随机变量集的熵;4.2.3 多维相关高斯随机变量集的熵 ;;;;主要内容 1、限峰值最大熵定理 2、限功率最大熵定理 3、熵功率和剩余度 ;对于离散信源，当信源符号等概率分布时信源的熵取最大值。对于连续信源，差熵也可以通过???变信源的概率密度求最大值，但情况有所不同： 除一般情况下对概率密度的非负 和归一化 的约束条件之外，还必须附加其他的约束条件。这些附加约束通常是对随机变量矩的约束，最重要的约束是对信源输出的峰值约束和功率约束，即在一阶矩和二阶矩的约束条件下求 的极值问题 ;4.3.1 限峰值最大熵定理;定理4.3.1 幅度受限的随机变量，当均匀分布时有最大的熵。 ;证明续：;4.3.2 限功率最大熵定理;定理4.3.2 功率受限的随机变量，当高斯分布时有最大的熵。 ;证明续;4.3.3 熵功率和剩余度;信源剩余;定理4.3.3 熵功率不等式 ;主要内容 1、连续随机变量集的平均互信息 2、连续随机变量集平均互信息的性质 ;4.4.1 连续随机变量集的平均互信息 ;设对X有两种划分，分别为P1、P2，其中P1中的每一个区间都是P2中某个区间的子区间，则离散集合[X]P1 中的某元素就包含在离散集合[X]P2中的某个元素中。因此[X]P1 可看成[X]P2的细化。根据前面离散互信息的性质有： 同样的论证也适用于Y。可见X、Y的区间划分越细，则平均互信息越大。因此，我们有理由把这些划分区间大小趋近于零时的平均互信息的极限值作为连续随机变量集合X、Y的平均互信息。 ;设连续集合X、Y，分别由P、Q两划分变成离散集合 且 ， ，那末，根据（4.1.2）（4.1.3） 可得 所以 当 时,趋近于 ，因此，;4.4.2 连续随机变量集平均互信息的性质 ;例题4.4.1：二维高斯随机变量集合 ，其中 的均值和方差分别为 和，且相关系数为 ，求： （1） 的联合分布密度 ； （2） ； （3） 。 解 （1）设XY的协方差矩阵Σ，则 利用 (4.2.5)式，得 ;