信息论—离散信道及其信道容量.pptVIP

离散信道及其信道容量 信道的数学模型及分类 平均互信息*与平均条件互信息 信道容量*及其一般计算方法 独立并联信道及其信道容量 信源与信道的匹配 1. 信道的数学模型及分类 信道的分类 离散无记忆扩展信道及其信道容量 离散无记忆扩展信道的信道容量 串联信道的互信息和数据处理定理 小结 则此信道的离散无记忆扩展信道可以表示为 满足 所以 当信源也是无记忆时 信道1 信道2 信道3 N个独立并联信道的联合概率 联合平均互信息 信道容量 独立并联信道及其信道容量 * 信源 编码器 信道 译码器 信宿 信息传输系统示意图 信道是重要的信息传输通道。研究信道就是研究它能够传输的最大信息量。 离散信道、连续信道、半离散或半连续信道、波形信道 输入、输出信号的特点 固定参数信道 时变参数信道 与时间的关系 无反馈信道 有反馈信道 输入与输出的关系 两端（单用户）信道 多端（多用户）信道 用户数 离散信道的数学模型 信道 三种信道： 1. 无干扰（无噪）信道 2. 有干扰无记忆信道 3. 有干扰有记忆信道 无记忆信道的充要条件 单符号离散信道的数学模型 信道的传递概率（转移概率） 且满足 二元对称信道(BSC) 用矩阵来表示 且满足 离散信道传递矩阵 接收到输出符号 后，输入符号 的平均不确定性为 信道疑义度 2. 平均互信息及平均条件互信息 平均互信息 对于单个事件 互信息与输入、输出信号熵的关系 维拉图 损失熵 噪声熵 平均条件互信息 信道1 信道2 已知z的条件下，接收到y后获得关于x的条件互信息 已知y,z的条件下，总共获得关于x的互信息 同样 求统计平均，可得 例题 四个等概率分布的消息 被送入一个二元无记忆对称信道进行传送。通过编码使 而BSC信道如图所示。试问输入是 和输出第一个符号是0的互信息是多少？如果知道第二个符号也是0，这时带来多少附加信息量？ 输入是 和输出符号是0的互信息 所以 比特 第二个符号是0带来的附加信息量是 而 因为信道是无记忆信道 所以 比特 例题 设信源 通过一干扰信道，接收符号为 信道传递概率如图所示，求 信源 中事件 和 分别含有的自信息。 2）收到消息 后，获得的关于 的信息量。 3）信源 和 信源 的信息熵。 4）信道疑义度 和噪声熵 。 5）收到信息 后获得的平均互信息。 1) 事件 含有的自信息 比特 事件 含有的自信息 比特 2) 互信息公式 所以可得 则 比特 比特 比特 比特 3 信源 与 的信息熵 比特/符号 比特/符号 4 信道疑义度 而 可得 比特/符号 比特/符号 噪声熵 5 收到信息 后获得的平均互信息 比特/符号 平均互信息的特性 1 平均互信息的非负性 2 平均互信息的极值性 3 平均互信息的交互性（对称性） 4 平均互信息的凸状性 a.平均互信息是输入信源的概率分布的 型凸函数 b.平均互信息是信道传递概率分布的 型凸函数 3.3 信道容量及其计算方法 信道容量就是信道的最大信息传输率（平均每个符号所能传送的信息量） 物理意义： 信道传输的最大信息量，只与信道的统计特性有关。 对应的输入概率分布称为最佳输入分布。 离散无噪、无损信道的的信道容量 对于无噪无损信道 互信息 信道容量 对于有噪无损信道 信道容量 对于无噪有损信道 信道容量 互信息 互信息 损失熵 噪声熵 对称离散信道的信道容量 对称离散信道：信道矩阵中每一行都是由同一 集的诸元素的不同排列组成，并且每一列也都是由 集的诸元素不同排列组成，即信道矩阵中每一行是另一行的置换，以及每一列是另一列的置换。 信道容量 对于对称离散信道，当输入符号 达到等概率分布时，则输出符号 也一定是等概率分布，所以 例题 某对称离散信道的信道矩阵为 其信道容量为 比特/符号 准对称信道的信道容量 若信道矩阵 的列可以划分成若干个互不相交的子集 ，即 由 为列组成的矩阵 是对称矩阵，则称信道矩阵 所对应的信道为准对称信道。 信道容量 其中 为子矩阵的个数 例题 设信道传递矩阵为 可计算得 信道容量为 一般离散信道的信道容量