第六章-单维连续信源与信道演示幻灯片.ppt

2) 证明： 第5节 最大相对熵定理 第5节 最大相对熵定理 5、平均功率受限信源的最大相对熵定理 对于平均功率受限信源，当其分布服从正态分布时，相对熵取得最大值 第5节 最大相对熵定理 1) 分析 第5节 最大相对熵定理 证明下面的等式即可 第5节 最大相对熵定理 2) 证明： 第5节 最大相对熵定理 第5节 最大相对熵定理 作业： T7 T12 p(y/x) X:[a,b] p(z/y) Y:[a’,b’] Z:[a”,b”] 1、数据处理： 在实际连续通信系统中，常需要在信道输出端对信道输出的连续随机变量进行适当处理，这种处理叫作数据处理。 2、模型 将数据处理系统和前面的传输信道一起构成串联信道，分别讨论串联信道中平均交互信息量I(X;Y), I(Y;Z), I(X;Z)之间的关系。 第9节 数据处理定理 3、模型的数学表述 第9节 数据处理定理 第9节 数据处理定理 第9节 数据处理定理 1） I(XY;Z)和I(Y;Z)之间的关系 4、I(X;Y)与I(X;Z)之间的关系 第9节 数据处理定理 第9节 数据处理定理 当且仅当对p(z/xy)=p(z/y)时 即连续随机变量序列(XYZ)构成马氏链时，取等号。 第9节 数据处理定理 I(XY;Z)和I(X;Z)之间的关系 第9节 数据处理定理 当且仅当对p(z/xy)=p(z/x)时 即连续随机变量序列(YXZ)构成马氏链 时，取等号。 第9节 数据处理定理 当(XYZ)是马氏链时 当且仅当p(z/xy)=p(z/x)即(YXZ)也是马氏链时取等号。 即当(XYZ)为马氏链时(ZYX)也是马氏链。即 当(XYZ)是马氏链时 第9节 数据处理定理 同理： 第9节 数据处理定理 第9节 数据处理定理 5、数据处理定理：任何数据处理过程总要丢失一定的信息量，最多不丢失信息量，但绝对不会增加信息量，数据处理的作用知识使信息变得更有用，而不是增加信息量。 第11节 连续信道平均互信量的极值性和上凸性 1、模型 信道p(y/x) X:[a,b] Y:[a’,b’] 2、数学表述 1)、信源 2)、接收信号 3)、信道 3、平均互信量的最小值 即平均互信量的最小值为0 第11节 连续信道平均互信量的极值性和上凸性 4)、关系 第11节 连续信道平均互信量的极值性和上凸性 第11节 连续信道平均互信量的极值性和上凸性 4、平均互信量的最大值 主要通过证明平均互信量为一个?型凸函数来说明平均互信量具有最大值。 若函数f()为概率密度函数的上凸函数则有 同理若函数I[p(x)]为p(x)的上凸函数则有 P292 T4 T6 T7 作业： 1、均匀分布随机变量的熵 已知随机变量X的概率密度函数如下，求其相对熵 第二节 几种连续信源的相对熵 2： 高斯分布随机变量的相对熵 满足 第二节 几种连续信源的相对熵 如果m=0，有 P是随机变量X的平均功率 第二节 几种连续信源的相对熵 第二节 几种连续信源的相对熵 3： 指数分布随机变量的相对熵 第二节 几种连续信源的相对熵 1、设单维连续信源X的信源空间为： 连续信源的离散化 将区间[a,b] 划分成r个相等的小区间，每个小区间的大小为 第3节 相对熵的极值性 构造离散信源为： 第3节 相对熵的极值性 现设有另外一个概率密度函数q(x)，在区间[a,b]内连续，且 将区间[a,b] 划分成r个相等的小区间，每个小区间的大小为 第3节 相对熵的极值性 构造另外一个离散随机变量为 由离散熵的极值性(p24)知： 第3节 相对熵的极值性 第3节 相对熵的极值性 说明相对熵具有极大值 第3节 相对熵的极值性 证明 f( )的上凸性 第4节 相对熵的上凸性 证明 h( )的上凸性 证明 设p(x)为随即变量X1的概率密度函数，q(x)为随机变量X2的概率密度函数，则有 令 第4节 相对熵的上凸性 即：r(x)可以看作连续信源X的概率密度函数 第4节 相对熵的上凸性 第4节 相对熵的上凸性 约束条件： 一般来说，连续信源X受到的约束条件有如下几种： 1、一般分析： 2) 欧拉－拉哥朗日方程 第5节 最大相对熵定理 第5节 最大相对熵定理 第5节 最大相对熵定理 3) 最大相对熵 第5节 最大相对熵定理 说明：虽然写出了在三个约束条件下相对熵取得最大值时的概率密度函数，及相应的最大相对熵表达式。但是我们无法确定参数 4) 结论 设有连续信源X，其样本空间[a,b], p(x)是它的概率密度函数。满足 则当 时 信源相对熵取得最大值 第5节 最大相对熵定理 2、匹配连续信源的性质 第5