第5章 离散信道及信道容量.pptVIP

* 华北电力大学电子与通信工程系 第五章 离散信道的信道容量 主讲：尼俊红 * 华北电力大学电子与通信工程系 第五章 离散信道的信道容量 信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究在信道中传输的每个符号所携带的信息量，并定义信道容量。 内 容 提 要 §5.1信道容量的定义 一．信息传输率 对于无扰信道，单符号传输情况，信息传输率为： （bit/码元） 信道的信息传输率 （bit/码元） 二．信道容量 信息传输率是衡量通信有效性的一个重要指标，由前面的定理知：对于固定信道，总存在某种输入概率分布 p ( x ) ，使 I（X; Y）达到最大值，定义这个最大值为信道容量，记为C。 使I（X; Y）达到信道容量的分布p(x)为最佳分布。 信道容量C与信源的概率分布无关，只与信道的统计特性有关，只是信道转移概率p(y/x)的函数，因此信道容量是完全描述信道的参数。 （bit/码元） 信道容量C是在保证可靠通信的前提下，信道所能容纳的最大 信息传输率的度量。 若信道传送一个码元所用的时间为t 秒，那么 信息传输速率为 （bit/s） 信道容量为 （bit/s） 【例5.1.1】二元对称信道 ， 信源概率空间为 （不是全损信道） p = 0.5时， 只与信道转移概率ε有关 §5.2 离散无记忆信道容量的计算 一．离散无记忆信道的容量 如果信道输入的是N维序列XN，其概率分布为P（XN），输出的是N为序列YN，则平均互信息量记为I（XN；YN），此时信道容量定义为： 下面一条定理给出了一维信道和N维信道的信道容量之间的关系。 定理：如果信道是离散无记忆（DMC）的，则CN ? NC， 其中C是同一信道传输单符号时的信道容量。 证明：对于DMC信道，由定理2.4（若信道离散无记忆，则信道输入、输出符号序列间的平均互信息量I（XN；YN）小于等于各单个符号间平均互信息量的总和） （1）若输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有： （信源无记忆，则信道输入、输出符号序列间的平均互信息量I（XN；YN）大于等于各单个符号间平均互信息量的总和 ） （2）对每个i，输入分布p (xi) 可使I (Xi; Yj) 达到信道容量C，则： 则： 综上，在信源和信道都离散无记忆的情况下，有CN＝NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。 二．达到信道容量的充要条件 定理：使平均互信息量I（X; Y）达到信道容量C的充要条件是信道输入概率分布 。 简记为p (X) = { p (x1), p (x2), …, p (xM)}满足： 说明：定理只给出了使平均互信息量达到信道容量的充要条件，并没有给出求信道容量及信道输入概率分布的显式，它只能用来求解一些特殊情况的信道容量。 三、几种无噪信道信道容量的求解 对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。 1. 无损信道 1）先考察平均互信息量I（X; Y）= H（X）- H（X/Y），在无噪信道条件下，H（X/Y）= 0，则平均互信息量I（X; Y）= H（X）。 2）根据定义计算信道容量C p(x1) = p(x2) = p(x3) = 1/3时 熵值达到最大 3） 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证： 先根据计算出p(yj)（j =1，2，3，4，5，6） 再计算出： 上面三式均满足平均互信息量达到信道容量C的充要条件，故C = log3。 确定信道的输入符号集的元素个数大于输出符号集的个数，信道的一个输出对应多个互不交叉的输入，这时输入符号以确定的概率1指向某个输出符号，如图所示。信道输入符号集X＝{x1, x2, x3, x4, x5}，输出符号集Y＝{y1, y2}，其信道转移概率矩阵记为P，计算该信道的容量。 2．确定信道 1）先考察平均互信息量I（X; Y）= H（Y）- H（Y/X），对于确定信道，H（Y / X）= 0，则平均互信息量I（X; Y）= H（Y） 2）根据定义计算信道容量C p ( y )等概率分布 确定的 3） 根据平均互信息量I（X; Y）达到信道容量的充要条件式对C进行验证： 上面的式子均满足平均互信息量达到信道容量C的充要条件，故C = log2。