第四章_信道及信道容量.ppt

如果信道矩阵的每一行(列）都是第一行（列）元素的不同排列，则称该信道为行（列）对称信道。 若信道矩阵中，每一行(或列)都是第一行(或第一列)的元素的不同排列，则称为离散对称信道。 —对称信道 三.离散对称信道 —对称信道 1.定义： 则称此信道为均匀信道。（对称信道的特例） 如果对称信道的输入输出符号个数相同，均为r，且信道中总的错误概率 ，平均分配给 个输 出符号，即信道矩阵为 注意：一般信道的信道矩阵的各行之和为1，各列之和不一定为1，但是均匀信道的各列之和为1 2.离散对称信道的C 式中 为信道矩阵中任一行的元素。 若一个离散对称信道具有r个输入符号，s个输出符号，则当输入为等概率分布时，达到信道容量C 定理： 证明： 则有： 结论:求离散对称信道的信道容量，实质上是求一种输入分布p(x)使输出熵H(Y)达最大。 例4-7：求具有以下信道矩阵的信道的信道容量 解：分析可知这是一个对称信道，则信道容量为 结论：在该对称信道中，只有当信道输入符号等概分布时，每个符号平均能传送的信息为0.126bit，一般情况下每个符号平均传输的信息都是小于0.126bit 。 * * 第四章 离散信道及其信道容量 本章需要掌握的内容： 信道的数学模型及分类 离散无记忆信道及扩展信道的特点和信道疑义度和通过信道传递的信息√ 信道的组合√ 离散对称信道的信道容量√ 信源与信道匹配√ 模拟信道的信道容量√ 信道 ——信息传输的通道 与信源并列的另一个主要研究对象 研究的主要内容: ★信道的建模 ★信道容量 ★不同条件下充分利用信道容量的方法 一.数学模型　　 干扰 信道 输入信号x 输出信号y p(y|x) 第一节 信道模型及其分类 p(y|x)： 反映信道的统计特性，即输入输出的依赖关系，又称信道的传递概率、转移概率或传输概率。 信道的数学模型： {X，p(y|x)，Y} 1.按其输入/输出信号在幅度和时间上的取值是离散或连续来分 理论、实用价值很小 连续 离散 模拟信道(analog channel)，也称波形信道(waveform channel) 连续 连续 连续信道(continuous channel) 离散 连续 离散信道(discrete channel)，也称数字信道(digital channel) 离散 离散 信道名称 时间 幅度 二.分类 2.按其输入/输出之间关系的记忆性划分 无记忆信道： 有记忆信道： 3.按其输入/输出信号之间是否是确定关系来分 有噪信道： 无噪信道： 在某一时刻信道的输出消息仅与当前信道的输入消息有关，而与之前时刻的信道输入无关 在任一时刻信道的输出不仅与当前输 入有关，而且还与以前时刻输入有关 存在噪声，不存在确定关系 ——实用价 值大，研究的理想对象 不存在噪声，存在确定关系 ——实用价 值小 4.按其输入/输出信号个数来分 两端信道(两用户信道):只有一个输入端和一个输出端的单向通信的信道,又称为单路信道. 多端信道(多用户信道):信道的输入输出至少有一个具有两个或两个以上的信号. 多元接入信道 广播信道 5.按信道的统计特性分 恒参信道 变参信道 一.定义 如果有 ，则信道为平稳的离散无记忆信道DMC。 第二节 离散无记忆信道DMC 1.定义——输入/输出在幅度和时间上都是离散的，并且在某一时刻信道的输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。 2.数学模型 离散信道对任意N长的输入、输出序列有 1.定义 2.传输概率 p(y|x)——描述信道中干扰影响的大小 二.单符号离散无记忆信道 ——完全反映信道的特性 3.信道矩阵P 4.信道输出与输入之间的关系 例4-1： 其中：p表示传输中发生错误的概率 二元对称信道(BSC)(二进制对称信道) 其中：p、q表示正确传输的概率 二元删除信道 (二进制删除信道) 1.信道疑义度(损失熵) 表示：由于信道的干扰，导致信道输出端收到Y后，对输入X仍然存在的平均不确定度。 也可表示：由于信道干扰导致信息量的损失。 信道 X Y 三.信道疑义度和平均互信息 信道 H(X|Y) X Y H(X) I(X;Y) 表示：接收端收到Y后获得的关于X的信息量(即接收到的信息量) I(X;Y)=H(X)-H(X|Y) ?定理1： 对于固定信道，I(X;Y)是信源概率分布p(x)的上凸函数。 2.平均互信息 定理2: 对于固定的信源分布，I(X;Y)是信道传递概率P(y|x)的下凸函数。 例4-2： 考虑二元对称