信息论—09资料.pptVIP

第三章 离散信道及其信道容量 互信息 信道容量及其计算 信道剩余度 第四章 无失真信源编码 编码器 等长码 变长码 变长信源编码定律（香农第一定理） 霍夫曼码和其他编码方法 几种无失真编码方法 第五章 有噪信道编码 最小错误概率准则 最小平均错误概率的计算 有噪信道编码定理（香农第二定理） 汉明距离 1.什么是最小错误概率准则?什么是最大似然译码准则? 2. 如何计算最小平均错误概率？ 例题 有噪信道编码定理（香农第二定理） 为使译码的平均错误概率最小,就应当选择 ，这被称为最小错误概率准则。 如果输入符号是等概率分布，最小错误概率准则就被称为最大似然译码准则 ，使 平均错误概率就可以写成 最小错误概率可以用传递概率来计算 当输入符号等概率分布时，计算下面信道的最小平均错误概率 如果输入概率分布为 计算平均错误概率 * 1. 信道传递矩阵的一般形式 2. 有关信道的几个常用的概率关系 信道疑义度：在收到输出变量的符号后，对于输入端变量尚存在的平均不确定性。它也表示信源符号通过有噪信道传输后引起的信息量的损失，也可称为损失熵。 3. 什么是信道疑义度？其计算公式是什么？ 平均互信息：收到输出符号后平均每个符号获得的关于输入变量的信息量 对于单个事件 4. 什么是平均互信息？其计算公式是什么？ 5. 用维拉图表示信道各类熵之间的关系 设信源 通过一干扰信道，接收符号为 信道传递概率如图所示，求 1）收到消息 后，获得的关于 的信息量。 2）收到信息 后获得的平均互信息。 例题 1) 单个符号的互信息 所以可得 则 比特 比特 比特 比特 信源 的信息熵 比特/符号 信道疑义度 而 2）平均互信息 可得 比特/符号 收到信息 后获得的平均互信息 比特/符号 1 平均互信息的非负性 2 平均互信息的极值性 3 平均互信息的交互性（对称性） 4 平均互信息的凸状性 a.平均互信息是输入信源的概率分布的 型凸函数 b.平均互信息是信道传递概率分布的 型凸函数 6. 平均互信息的几个特性 信道容量就是信道的最大信息传输率 物理意义： 信道传输的最大信息量，只与信道的统计特性有关。 对应的输入概率分布称为最佳输入分布。 7. 什么是信道容量？并给出其计算公式及物理意义。 对于无噪无损信道 互信息 信道容量 对于有噪无损信道 信道容量 对于无噪有损信道 信道容量 互信息 互信息 8.如何计算离散无噪无损信道、有噪无损信道、无噪有损信道的的信道容量？ 对称离散信道：信道矩阵中每一行都是由同一 集的诸元素的不同排列组成，并且每一列也都是由 集的诸元素不同排列组成，即信道矩阵中每一行是另一行的置换，以及每一列是另一列的置换。 信道容量 对于对称离散信道，当输入符号 达到等概率分布时，则输出符号 也一定是等概率分布，所以 8. 如何计算对称离散信道的信道容量？ 某对称离散信道的信道矩阵为 其信道容量为 比特/符号 例题 信道剩余度 信道相对剩余度 9. 什么是信道剩余度？ 唯一可译码：任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列 非奇异码：若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列 1.什么是唯一可译码与非奇异码？ 若对信源 进行等长编码，则必须满足 其中 是等长码的码长， 是码符号集中的码元数， 是信源符号集中符号的个数。 对于信源 的N次扩展信源，有 2. 对信源进行等长编码要满足什么条件？ 编码信息率：编码后平均每个信源符号能载荷的最大信息量 编码效率 3.什么是编码信息率与编码效率？ 定义一：在唯一可译变长码中，有一类码，它在译码时无需参考后续的码符号就能立即做出判断，译成对应的信源符号。 定义二：码符号中没有任何完整的码字是其他码字的前缀，则此码为即时码，也称非延长码或前缀条件码。 平均码长 4.什么是即时码？其平均码长如何计算？ 根 一阶节点 二阶节点 三阶节点 树根 码字的起点 树枝数 码的进制数 节点 码字或一部分 终端节点 码字 节数 变长码码长 整树 等长码 5.什么是即时码的树图构造法? 用树图构造法构造下面离散信源的二次扩展信源的一个即时码（0,10,110,111), 画出其构