第3章：信道容量.ppt

信道的功能：以信号形式传输和存储信息。 信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最大。 信道定义：传输信息的媒介或通道。信道也可以看作一种变换，把输入变换成输出。 信道的随机性：由于干扰和噪声的存在，变换是随机（概率）的。 信道的描述：用条件转移概率表示。;本章内容;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;注意： 在第②步信道容量 C 被求出后，计算并没有结束，必须解出相应的 p(xi) ，并确认所有的 p(xi)≥0 时，所求的 C 才存在。 在对 I(X;Y) 求偏导时，仅限制 ，并没有限制 p(xi)≥0 ，所以求出的 p(xi) 有可能为负值，此时 C 就不存在，必须对 p(xi) 进行调整，再重新求解 C。 现在一般采用计算机，运用迭代算法求解。;;; 离散无记忆多符号信道及其容量; 离散无记忆多符号信道及其容量; 离散无记忆多符号信道及其容量; 离散无记忆多符号信道及其容量; 离散无记忆多符号信道及其容量; 离散无记忆多符号信道及其容量; 串联信道及其信道容量;信道1的输出Y与其输入X统计相关，信道2的输出Z与其输入Y统计相关，一般来讲，Z与X统计相关。 级联的结构决定了Z的取值在给定Y以后与X将不再有关 在概率论中称XYZ的这种关系为XYZ组成马尔科夫链。;; 数据处理定理; 结论： 两级串联信道输入与输出消息之间的平均互信息量既不会超过第Ⅰ级信道输入与输出消息之间的平均互信息量，也不会超过第Ⅱ级信道输入与输出消息之间的平均互信息量。 当对信号/数据/消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号/数据/消息变成更有用的形式，但是绝不会创造出新的信息。这就是所谓的信息不增原理。 ; 当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，以后的系统不管怎样处理???如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。 ;串联信道的信道容量;;并联信道及其信道容量;输入并接信道;并用信道