(信息论)第八章连续信源和波形信道.pptVIP

第 8 章 连续信源与波形信道;8.1.2 连续信源的熵;连续随机变量 满足如下性质：;连续信源熵的推导：;当 ，即 时，由积分定义，则有;定义 8.1.1 对于连续信源 X，若其概率密度为 ，则连续信源的熵为;8.1.3 连续信源的最大熵;8.1.4 联合熵、条件熵和平均交互信息量; 定义 8.1.4 两个连续随机变量 X 和 Y 之间的平均交互信息量为;(3) 对于多元联合信源，若其联合概率密度为 ，则其共熵为 并且存在 当信源彼此独立时，等号成立。;8.1.5 连续信源的熵速率和熵功率;对于其它分布的信源，当平均功率P一定时，其熵必定小于高斯信源的熵。因此，为了衡量某一信源的熵与同样平均功率限制下的高斯信源的熵的不一致程度，定义熵功率为;例题：求均值为 、方差为 的高斯分布的熵;8.2 连续信道的信道容量; 定义 8.2.1 对于输入信号平均功率不大于S的时间离散信道容量定义为; 当输入信源为均值为0、方差一定的情况下，信源 Y满足高斯分布时，其信源 Y 的熵 最大。由概率论可知，只有当 X 满足均值为 0，方差为 的高斯分布时，才能使得 满足高斯分布，且均值为 0、方差为 。; 定理 8.2.1 假设输入信源的平均功率小于 ，信道加性噪声平均功率为 ，可加噪声信道容量 C 满足;8.2.2 时间连续信道容量;若信道为高斯信道，则时间连续的高斯信道容量为;单位时间的信道容量为;8.3 连续信道的信道编码定理; 定义 8.4.1 设连续信源(随机变量) X ，其概率密度为 ，设另一变量Y，且 X 和 Y 之间失真函数是某一非负的二元函数 ，则平均失真度定义为; 定义 8.4.2 设所有试验信道的集合为 ，在满足一定失真度 时，连续信源的信息率失真函数为;定义失真函数为平方误差失真，即;解得; 函数曲线