信息论与编码-IDT第五章信道编码2.pptVIP

第十三讲 2003年6月 5.1.2 信道容量 1．如何刻画DMC信道的容量? 考虑一个DMC信道，其输入字符集是X={x0，x1，…，xq-1}，输出字符集是Y={y0,y1，…，yQ-1}，转移概率P（yj／xi）. 若给定信道的转移概率和对应于输入符号的概率分布p（xi）,则 DMC信道容量C为 说明: (1) 两个公式 (3) 信道容量单位 C的单位是信道上每传送一个符号（每使用一次信道）所能携带的比特数，即比特／符号（bits／symbol或 bits／channel use）。 以e为底取自然对数时，信道容量的单位变为奈特／符号（nats／sym－bol）。 如果已知符号传送周期是T秒，也可以“秒”为单位来计算信道容量，此时Cs＝C／T，以比特/秒（bits／s）或奈特/秒（nats／s）为信道容量单位。 (4) 转换计算式 若将Px=[p（x0）,p（x1），….，p（xq-1）]定义为输入符号的概率矢量Px，关系式 I(X;Y)＝H(X)- H(X/Y)＝H(Y)- H(Y/X) 可得: 信道容量是否存在 ? 定理：给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。(证明略) 用I(Px)表示I是Px的函数，则在I(Px)曲线上凸点所对应的输入符号概率矢量Px上，I(Px）取得了极大值，这个极大值就是信道容量。 如何计算信道容量? （1）对称DMC信道的容量 什么叫对称DMC信道? 如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素），称该矩阵是输入对称的；如果转移概率矩阵P的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对称的；如果输入、输出都对称，则称该DMC为对称的DMC信道。 例如： 有扰的对称DMC信道性质： ① 对称信道的条件熵H（Y／X）与信道输入符号的概率分布无关，且有H（Y／X）＝H（Y／xi），i＝0，1，…，q-1。 ② 当信道输入符号等概分布时，信道输出符号也等概分布； 反之，若信道输出符号等概分布，信道输入符号必定也是等概分布。 ③ 当信道输入符号等概分布时，对称DMC信道达到其信道容量，为 于是问题就简化为求 ［H（Y）］。 由信息论原理，当输出符号集的各符号等概出现时可得最大信源熵，即 H（Y）≤logQ 或者 max［H（Y）］=logQ ■ （2）BSC信道的容量 如何确定BSC的信道容量? 对于转移概率为p(0/1)=P（1/0）=P及P（0/0）=p（1/1）=1-P的BSC信道而言，当输出概率p（y0）=P（y1）=0.5时其平均互信息最大。所以，BSC的信道容量是 C=p(x0)p(0/0)log[p(0/0)/0.5]+ p(x0)p(1/0)log[p(1/0)/0.5]+ p(x1)p(0/1)log[p(0/1)/0.5]+ p(x1)p(1/1)log[p(1/1)/0.5] = plog2p+(1-p)log2(1-p) 说明： 1) C随p变化的曲线如图5-1-4所示。 由图可知，p=0时的信道容量是1比特每符号（l bit／Symbol）； 当p=1/2时，从输出得不到关于输入的任何信息，互信息为0即信道容量是零。 对于1/2＜p≤ l的情况，可在BSC的输出端颠倒 0和 1，导致信道容量以p=1/2点为中心对称。 2)从信息论的角度看，平均的条件自信息即条件熵H（X/Y）可以解释为由于信道干扰和噪声所造成的平均信息量的损伤。 如果BSC信道中p(0/1)=p(1/0)=p=0,即无误码概率，那么从接收的 Y可完全确定发送的X，信道的介入没有产生任何损伤或模糊度，因此条件熵H（X/Y）＝0。 若H（X/Y）＝0，必有I（X;Y）＝H（X），互信息等于输人符号的信息熵。 换言之，信道上传送的信息量正是输人信号的全部信息量，相当于信道容量为1。 3)当X和Y统计独立时，接收的Y完全与发送的X无关，此时P=0.5及H（X/Y）=H（X），说明损失的信息达到与输人符号信息熵相等的程度。可得I（X;Y）=0或C＝0，即信道上没能传送任何信息。 （3）准对称DMC信道的容量 什么叫准对称DMC信道? 如果转移概率矩阵P是输入对称而输出不对称，即转移矩阵P的每一行都包含同