第三章离散信道及信道容量.pptVIP

离散信道：输入和输出的随机序列取值都 是离散的。 连续信道：输入和输出的随机序列取值都 是连续的。 半离散或半连续信道：一端序列取值是离 散的一端序列取值是连续的。 波形信道：输入输出都是时间上连续 的随机信号X(t),Y(t). 3.1.2 离散信道的数学模型 1、无干扰（无噪）信道 a1 b1 a2 b2 ar bs 3.2.1 信道疑义度 3、条件熵——信道疑义度——H（X|Y） 讨论： （1）一般情况下，H（X|Y）H（X） 说明接收到Y后，关于输出变量X的不确定 性减少了。 （2）对于无扰信道 接收到Y后，完全消除了对X的不确定 性，从而获得全部信息。 3.2.2 平均互信息 1、定义式——平均互信息 2、互信息定义式 3、其它熵的定义式及计算 4、两种极端信道 3.2.3 平均条件互信息 定义： 4、平均联合互信息 3.3 平均互信息的特性 3.3.1 平均互信息的非负性 3.3.1 平均互信息的非负性 3.3.2 平均互信息的极值性 3.3.3 平均互信息的交换性（对称性） 定理3.1 平均互信息 是输入信源概率分布 的 型凸函数。 定理3.2 平均互信息 是信道传递概 率 的 型凸函数. 3.4 信道容量及其一般计算方法 信息传输率R：信道中平均每个符号所能传送的信息量。 3.7 独立并联信道及其信道容量 例3.4 续 固定 时， 是 p的 型凸函数. 当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。 1.0 0.5 0 P I(X;Y) 固定信源 H(?) 3.4.1 离散无噪信道的信道容量 3.4.2 对称离散信道的信道容量 3.4.3 准对称信道的信道容量 平均互信息 ：接收到Y后，平均 每个符号获得的关于X的信息量。 符号 相应的输入概率分布称最佳输入分布. 信道容量定义： 对于一个固定信道，总存在一种信源（概率分布 ），使传输每个符号平均获得的信息量最大。这就是固定信道的最大信息传输率，定义为信道容量C。 信道容量的物理意义： 信道容量已与输入信道的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是能完全描述信道特性的参量,是信道能够传输的最大信息量。 如例3.4中 3.4.1 离散无噪信道的信道容量 1、无噪无损信道 2、有噪无损信道 2、有噪无损信道 I（X;Y） H（Y|X） H（X） H（Y） 2、有噪无损信道 信道特点：信道的传递矩阵中每一列有一个也仅有一个非零的元素。 I（X;Y） H（Y|X） H（X） H（Y） 3、无噪有损信道 1 1 1 1 1 1 I（X;Y） H（X|Y） H（Y） H（X） 信道特点：信道的传递矩阵中每一行有一个也仅有一个非零的元素。 3.4.2 对称离散信道的信道容量 1、对称离散信道 下列信道是否对称离散信道？ 2、强对称信道 （均匀信道） 3、对称离散信 道的信道容量 3.4.3 准对称信道的信道容量 1、准对称信道定义 信道矩阵Q可按列组合成对称矩阵，QK.（每行元素相同，只是不同排列） 判断下列信道是否是准对称离散信道？ 2、准对称信道的信道容量 （1）要求的输入分布是等概率分布 （2）信道容量 Nk — 行元素之和 Mk — 列元素之和 例： 例： 3.6 离散无记忆扩展信道及其信道容量 3.6.1 数学模型 3.6.2 离散无记忆扩展信道的 信道容量 3.6.1 数学模型 1、单符号 2、消息序列 3、N次扩展信道 N次扩展信道矩阵 例3.11 求二元无记忆对称信道的二次扩 展信道 。已知： 解： 同理得 结论：对无记忆信道，由信道矩阵可求得N次扩展信道矩阵。 3