第三章离散信道及其信道容量.pptxVIP

第一节 信道的数学模型及分类1、信道的分类： 根据信道用户的多少，可分为： （1）单用户信道：只有一个输入端和一个输出端（2）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：（1）无反馈信道（2）有反馈信道第一节 信道的数学模型及分类根据信道参数与时间的关系：（1）固定参数信道（2）时变参数信道根据输入输出信号的特点 （1）离散信道 （2）连续信道 （3）半离散半连续信道： （4）波形信道以下我们只研究无反馈、固定参数的单用户离散信道。设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：规定一个离散信道应有三个参数：输入符号集：X={x1，x2，…，}输出符号集：Y={y1，y2，…，}信道转移概率：P(Y/X)={p(y1/x1),p(y2/x1),…p( /x1),……p(y1/ )…p( / )}第一节 信道的数学模型及分类2、离散信道的数学模型P(y/X)XY根据这一模型，可对信道分类如下：第一节 信道的数学模型及分类（1）无干扰信道：输入信号与输出信号 有一一对应关系（2）有干扰无记忆信道：输入与输出无一一对应关系， 输出只与当前输入有关；（3）有干扰有记忆信道：这是最一般的信道。第一节 信道的数学模型及分类3、单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于输出变量为Y，取值于 。并有条件概率条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空间[X,p(y|x),Y]来描述。 X Y第一节 信道的数学模型及分类表示成矩阵形式：[P]=y1y2…ymx1p(y1/x1)p(y2/x1)…p(ym/x1)x2p(y1/x2)p(y2/x2)…p(ym/x2)……………xnp(y1/xn)p(y2/xn)…p(ym/xn)第一节 信道的数学模型及分类[例1] 二元对称信道（BSC） X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;[P]=0101-pp1p1-p 0 1-p 0 p p 1 1-p 1第一节 信道的数学模型及分类[例2] 二元删除信道X={0,1}; Y={0,2,1}[P]=02101 － pp010p1-p 0 1-p 0 pp2 1 1-p 1第一节 信道的数学模型及分类 由此可见，一般单符号离散信道的传递概率可以用矩阵表示[P]=y1y2…ymx1p(y1/x1)p(y2/x1)…p(ym/x1)x2p(y1/x2)p(y2/x2)…p(ym/x2)……………xnp(y1/xn)p(y2/xn)…p(ym/xn)第一节 信道的数学模型及分类 为了表述简便，可以写成下面推导几个关系式：第一节 信道的数学模型及分类（1）联合概率其中称为前向概率，描述信道的噪声特性称为后向概率，有时也把 称为先验概率，把 称为后验概率（2）输出符号的概率（3）后验概率 表明输出端收到任一符号，必定是输入端某一符号输入所致第二节 平均互信息1、信道疑义度 这是收到 后关于X的后验熵，表示收到 后关于输入符号的信息测度 这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。第二节 平均互信息2、平均互信息I(X;Y)=H(X)-H(X/Y) 因为H(X),表示传输前信源的不确定性，而H(X/Y)表示收到一个符号后，对信源尚存的不确定性，所以二者之差信道传递的信息量。下面我们讨论一下互信息与其他的熵之间的关系I(X;Y)=H(X)-H(X/Y) =H(X)+H(Y)-H(XY) =H(Y)-H(Y/X) (3.34)第二节 平均互信息也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) 由3.34也可以看出，互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。 H(X/Y)即信到疑义度，也表示通过有噪信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性