信息论编码第2章.ppt

第三章 信道及其容量;信道的任务是以信号方式传输信息;3.1 信道的数学模型和分;3.1 信道的数学模型和分;(3)根据信道的用户数量多少：;二、离散信道的数学模型 条件概;根据信道的统计特性即条件概率 ;(1)无干扰(噪声)信道 ;(2)有干扰无记忆信道信道输入;(3) 有干扰(噪声)有记忆信;研究它的两种办法：1、把记忆较;三、单符号离散信道单符号离散信;信道中有干扰(噪声)存在，可以;一般离散单符号信道的传递概率可;[例1] 二元对称信道，[B;符号“2”表示接收到了“0”、;3.2 信道疑义度与平均互信;3.2.1、信道疑义度信道输入;接受到bj后，关于X的不确定性;信道疑义度表示在输出端接收到全;互信息量 I(xi ; yj);定义平均互信息I(X; Y)为;关于平均互信息I(X;Y) ;无标题;I(X;Y) = H(X) -;平均互信息与各类熵之间关系的集;两种特殊信道（1）、离散无干扰;（2）、输入输出独立信道 ( ;二种极限信道各类熵与平均互信息;3.2.3 平均互信息的性质;证明:利用詹森不等式;即 I(X;Y) = H(X;（3）交互性（对称性） ;无标题;（4）凸状性 所以，平;设BSC的输入概率空间为 ;对于H(Y),根据离散无记忆信;由I(X;Y)表达式可得,若信;平均互信息I(X;Y)是输入信;若信源固定(w一定),则 平;当信源固定后，选择不同的信道来;3.3 离散无记忆信道的扩展信;则此无记忆信道的N次扩展信道的;[例3] 求二元无记忆对称信;根据平均互信息的定义，可得无记;若信道的输入随机序列为X= (;若信道的输入随机序列为X= (;研究信道的目的是要讨论信道中平;一、 信道容量的定义 由于;即：[例4] 信道容量的计算因;离散无噪信道二、简单离散信道的;有噪无损信道： 设信道接收;无噪有损信道（P68）满足： ;所谓对称信道，是指信道矩阵P中;都不是对称离散信道;若输入/输出符号个数相同，都等;这一项是固定X＝x 时对Y求和;在这个信道中，每个符号平均能够;四、离散无记忆N次扩展信道的信;一般情况下，消息序列在离散无记;3．5 连续信道的信道容量在连;一、连续单符号加性高斯噪声信道;二、多维无记忆高斯加性连续信道;上式同样也是N个独立、并联组合;这结论说明:N个独立并联的组合;[例6] 设在各单元时刻上，;比较得：Ps7 = - 0.0;??较得：Ps6 = - 0.0;(比特／10个自由度) ;(比特／10个自由度)若提高信;三、限频限时限功率的加性高斯白;香农公式的物理意义为：当信道容;[例6．4] 在电话信道中常允;3.6 信源与信道的匹配在一;信道剩余度定义为：信道剩余度 ;在无损信道中，信道容量 C＝l;例如，某离散无记忆信源 ;因此，必须通过合适的信源编码，;3.7 信道编码定理定理3.;与无失真信源编码定理(香农第一