第三章 信道模型和信道容量（课程讲义）.pptVIP

Chapter 3信道模型和信道容量 3.1 信道模型和信道分类 1〉什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 2〉信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 3〉研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。。 信道分类 信道可以从不同角度加以分类： 根据用户多少分为：单用户信道、多用户信道 根据信道输入端和输出端的关联又可以分为：无反馈信道、反馈信道 根据信道参数与时间的关系：固定参数信道、时变参数信道 离散信道 设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示： 规定一个离散信道应有三个参数： 输入符号集：X={a1,a2,….ar} 输出符号集：Y={b1,b2,….bs} 信道转移概率：P(Y/X)={p(b1/a1),p(b2/a1),…p(bs/ar),…… 离散信道 离散信道三种表达方式 概率空间描述 X={a1,a2,……ar} P(Y/X)={p(bj/ai)} (i=1,2,……r; j=1,2,……s) Y={b1,b2,……bs} 0≤p(bj/ai)≤1 转移矩阵描述 矩阵[P]称为转移矩阵或信道矩阵；表示为： [P]矩阵为一个r×s矩阵，其每行元素之和等于1。 例：二元对称信道 X与Y的关系 联合概率 P(X=ai,Y=bj)=p(ai,bj) p(ai,bj)=p(ai)p(bj/ai)=p(bj)p(ai/bj) (i=1,2,…r) (j=1,2,…s) yj的概率 P(Y=bj)=p(bj) [p(b1),p(b2),…p(bs)]=[p(a1),p(a2),…p(ar)][P] 后验概率 P(X=ai/Y=bj)=p(ai/bj) (i=1,2,…r) (j=1,2,…s) 并且有： 信道疑义度 I(X；Y)=H(X)-H(X/Y) 其中条件熵H(X/Y)称为疑义度，可疑度，，它表示接收者收到Y后，对信源X仍然存在的平均不确定度。对于接收者来说，H(X)称为先验不确定度，H(X/Y)称为后验不确定度。平均交互信息量等于不确定度的变化量。 散布度（噪声熵） I(X；Y)=H(Y)-H(Y/X) 其中条件熵H(Y/X)称为散布度，噪声熵，，它表示发信者发出X后，对信道输出Y仍然存在的平均不确定度。对于发信者来说，H(Y)称为先验不确定度，H(Y/X)称为后验不确定度。平均交互信息量等于不确定度的变化量。 联合熵（共熵） I(X；Y)=H(X)+H(Y)-H(X,Y) 其中熵H(X,Y)称为联合熵，共熵，，它表示通信完成之后，观察者对通信系统仍然存在的平均不确定度。对于观察来说，H(X)+H(Y)称为先验不确定度，H(X,Y)称为后验不确定度。平均交互信息量等于不确定度的变化量。 结论： I(X；Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(X,Y) 例已知一个二元信源连接一个二元信道，如图给出。X={x1,x2}, [p(xi)]={1/2,1/2} 求I(X；Y)，H(X,Y)，H(X/Y)，和H(Y/X)。 信道容量 平均交互信息量的交互性 交互信息量可能出现负值，但平均交互信息量不可能出现负值。 接收者收到一个Y的符号，总能从中获取道关于信源X的信息量，只有当XY相互独立时，平均交互信息量才为0。 由I(X;Y)=H(X)-H(X/Y)，可知，在信息传输过程中，后验熵不可能大于先验熵，这种特性称为后熵不增加原理。 X和Y完全相关，交互性最大，I=H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相当于信道无信息损失。 无损信道 由于其矩阵的每一列元素只有一个非零元素，所以后验概率不等于1，就等于0 即： 确定信道 这类信道的转移概率等于1或者等于0，每一列的元素可有一个或多个1，可知其噪声熵H(Y/X)=0，此时的平均交互信息量达到最大值。 I(X；Y)=H(Y)-H(Y/X)=H(Y) C=logs X和Y完全相关 这种信道的特点是：r=s，每行只有一个元素为1，每列只有一个元素为1。其转移概率不为1，就为0。这时有： 强对称离散信道的信道容量 如果离散信道的输入/输出符号空间及信道转移矩阵如下： X={a1,a2,……ar} P[X]={p(a1),p(a2),……p(ar)} Y={b1,b2,……bs} P[Y]={p(b1),p(b2),……p(bs)} r=s 这种信道{X,