信息理论与编码课后答案第3章.docVIP

第3章 信道模型和信道容量 3.1 基本要求 通过本章学习，了解信道的模型和分类，掌握信道容量的定义，掌握无噪信道、对称信道的信道容量的计算，了解准对称信道信道容量的计算，了解一般离散无记忆信道（DMC）达到信道容量的充要条件，掌握DMC扩展信道的信道容量计算，了解加性高斯噪声信道的信道容量的结论，掌握香农信道容量公式。 3.2 学习要点 3.2.1 信道的分类 信道是信息传输的通道。研究信道的目的，主要是为了描述和分析各种不同类型信道的特性，度量其信息的极限传输能力。信息理论中常用的信道分类方法如下。 （1）根据信道输入/输出信号在时间和幅值上的取值是离散或连续来划分，可分为4类,如表3.1所示。 表3.1 信道的分类 信道 时间离散信道 时间离散、幅值离散信道 简称离散信道（discrete channel）或数字信道（digital channel） 时间离散、幅值连续信道 简称连续信道（continuous channel） 时间连续信道 时间连续、幅值离散信道 时间连续、幅值连续信道 简称波形信道（waveform channel）或模拟信道（analog channel） （2）根据信道的记忆特性划分，可分为2类： 无记忆信道：信道当前的输出只与当前的输入有关。 有记忆信道：信道当前的输出不但与当前的输入有关，还与当前时刻以前的输入有关。 （3）根据信道的输入/输出关系是确定关系还是统计依存关系划分，可分为2类： 无噪声信道：信道的输入/输出关系是确定关系。 有噪声信道：信道的输入/输出关系是统计依存关系。 3.2.2 信道的数学模型 3.2.2.1 离散无记忆信道（DMC）的数学模型 离散无记忆信道（DMC）的数学模型如图3.1所示，记为。 图3.1 离散无记忆信道（DMC）模型示意图 信道的输入取值于集合，输出取值于集合。 （3.1） 为分析计算方便，常常把所有转移概率排成矩阵： （3.2） 转移矩阵中各行个转移概率自身是完备的： （3.3） 3.2.2.2 扩展信道的数学模型 图3.2所示的是次扩展信道的模型，其输入和输出均为元随机变量序列。 输入为，各均取值于输入符号集合；输出为，各均取值于输出符号集合。 、的取值集合分别为和，或中一个符号就是取值于或的元符号串： 次扩展信道的转移概率集合为 （3.4） 次扩展信道的数学模型可记为。 图3.2 离散信道模型示意图 信道是DMC的充要条件是 （3.5） 3.2.2.3 连续信道的数学模型 最基本的连续信道是单维连续信道，它的输入、输出以及噪声都是取值于整个实域的一维连续型随机变量，其模型如图3.2所示。 图3.2 单维连续信道模型 连续信道的统计特性由转移概率密度函数描述，满足如下约束条件： （3.6） 单维连续信道的数学模型记为。 如果信道的输入和输出都是多维连续随机变量序列，可采用多维连续信道模型来描述。多维连续信道的输入和输出分别为多维随机变量和，转移概率密度函数为。多维连续信道的数学模型记为。 假设连续信道的维输入为，维输出为，若转移概率密度函数满足 （3.7） 则称此信道为连续无记忆信道。 3.2.4信道的疑义度、散布度和平均互信息 3.2.4.1 信道的平均互信息 对于DMC，从输出中所获得的关于输入的平均信息量，就是信道的平均互信息量，与各类熵之间的关系为： （3.8） 的表达式化为如下形式： （3.9） 于是，就成了信道输入随机变量的概率矢量和信道转移概率矢量的函数，可以记为。 的凸状性由以下定理给出： 如果信道给定（即给定），那么是输入概率的上凸函数。 如果信源给定（即给定），那么是转移概率的下凸函数。 3.2.4.2 信道的疑义度 观察，对于有噪信道，输入的平均信息不可能全部送达到输出，一部分信息在传输过程中损失了，损失的部分就是。 既代表收到输出后对输入还存有的疑义，又代表信道在传输过程中的信息损失。因此，又称为信道的疑义度或损失熵。 损失熵为零的信道称为无损信道。 3.2.4.3 信道的散布度 观察，变换为，式中代表输出中含有的全部信息，其中既包含从输入端送来的有用信息，也包含由噪声引入的无用信息。 叫做信道的散布度或噪声熵，表明信道因噪声干扰所呈现的无序性程度，噪声熵为零的信道称为确定信道。 3.2.5信道容量 3.2.5.1 信道容量的定义 每个信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为，即： /符号