信息论（宿菲）信息论 第四章.pptVIP

4.3离散多符号信道及信道容量 离散无记忆信道;信道在任意时刻的输出只与此时刻信道的输入有关 长度为N的离散无记忆平稳信道称为离散无记忆信道的N次扩展信道 X r N长 Y s N长 转移概率P(Y/X)=P(Y1Y2…YN|X1X2…XN) =P(Y1|X1) P(Y2|X2)… P(YN|XN) 二元对称信道的二次扩展信道的信道矩阵 入：r 2 4个符号 00 01 10 11 出：S 2 4个符号 00 01 10 11 信道转移概率？？？ 二元对称信道的二次扩展信道图 矩阵4*4 定理4.4 若信道的输入和输出分部是N长序列X,Y，且信道是无记忆的 N次扩展C 4.4组合信道及其信道容量 4.4.1独立并联信道 加 4.4.2级联信道 乘 第四章 信道及信道容量 信道是指信息传输的通道，是传送信息的载体 信道对于信息的容纳并不是无限制的，与信道本身的物理特性有关。 信息是抽象的，信道是具体的。 二人对话，打电话 空间传输（光纤 电缆） 时间传输（光碟 磁带） 第四章 信道及信道容量 问题: 信道的建摸(统计特性的描述) 信道传输信息的能力(信道容量) 4.1信道的分类 按物理组成：微波信道、光纤信道、电缆信道 假定传输特性是已知的,研究信息的传输问题. 1.输入输出符号在幅度、时间上的取值分：离散和连续 2.输入输出符号记忆特性分：有记忆和无记忆信道 3.如果信道的输出只与信道该时刻的输入有关而与其他时刻的输入无关，则称此信道为无记忆的，反之称为有记忆的. 4.按输入输出之间的关系是否确定分：有噪声和无噪声信道. 5.输入和输出的个数来划分：单用户信道，多用户信道。 6.根据信道的统计特性是否随时间变化来划分：平稳信道，非平稳信道 4.2离散单符号信道及信道容量 4.2.1离散单符号信道的数学模型 离散单符号信道：信道的输入输出都取值于离散符号集， 输入随机变量为X,其所有可能的取值为xi，i=1，2，. . .，r 输出随机变量为Y,其所有可能的取值为yj，j=1，2，. . .，s r个输入,s个输出 传递概率：p(yj/xi) 信道传递概率实际上是一个传递概率矩阵 信道矩阵 传递概率满足非负性和完备性,每行元素之和为1 二元对称信道BSC 输入符号集X={0,1} 输出符号集Y={0,1} X Y 0 p 0 p p 1 1 p p错误概率,1-p无误传递概率 p(y/x),传递概率，前向概率,即输入为x，通过信道传输输出yj的概率，称为前向概率，描述信道噪声的特性。 p(x /y),已知信道输出符号y时，输入符号为x的概率，后向概率 4.2.2信道容量的概念 信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。 R= I(X;Y)= H(X)- H(X/Y)=H(Y)- H(Y/X) R= I(X;Y)= H(X)- H(X/Y)= H(Y)- H(Y/X) 平均互信息I(X;Y)是接收到输出符号Y后所获得的关于输入符号集X的信息量. 信源的不确定性为H(X) （原有的不确定性）, 由于干扰的存在,接收端收到Y后对信源仍然存在的不确定性为H(X/Y), H(X/Y)也称信道疑义度。（仍然存在的不确定性） 信宿所消除的关于信源的不确定性，也就是所获得的信息为I(X;Y)(对不确定性的消除)，用R表示。 R= I(X;Y)= H(X)- H(X/Y) 对不确定性的消除=原有的不确定性-仍然存在的不确定性 信道在单位时间内平均传输的信息量。如果平均传输一个符号为t秒，则信道每秒钟传输的信息量为Rt=I(X;Y) /t，信息传输率。 I(X;Y)是信