离散无记忆的扩展信源.PPTVIP

电子信息工程学院 电子信息工程学院 电子信息工程学院 2.4.1 单符号离散无记忆信源 信源 的符号集 ，每个符号的发生概率为 ，信源每次发出一个符号，且符号发生的概率相互独立，称为单符号离散无记忆信源，简称离散无记忆信源。 2.4 离散无记忆的扩展信源 2.4.2 离散无记忆信源的扩展信源 1、离散无记忆二进制信源的二次扩展信源 二次扩展信源 扩展后的信源符号集合 新概率的计算举例： 2.4 离散无记忆的扩展信源 2 、离散无记忆二进制信源的三次扩展信源 三次扩展信源 扩展后的信源符号集合 新概率的计算举例: 2.4 离散无记忆的扩展信源 3、任意进制离散无记忆信源的N次扩展信源 其中： N次扩展信源 2.4 离散无记忆的扩展信源 4、离散无记忆信源X 的N 次扩展信源 设离散无记忆信源 ，其样本空间为 ，用一组长度为 的序列表示其输出消息序列。此时，将输出序列等效为一个新的信源，用 维离散随机矢量来描述，记作 ，则称 组成的新信源为离散无记忆信源 的 次扩展信源。 其中，每个分量 都是随机变量，它们都取决于同一信源 ，并且分量之间统计独立。 用 重空间描述离散无记忆信源 的 次扩展信源，记为 。 2.4 离散无记忆的扩展信源 设一个离散无记忆信源的概率空间为: 则信源X的N次扩展信源XN是具有qN个符号的离散信源，其中N重概率空间为 上式中，每个符号 是对应于某一个由N个 组成的序列。 的概率 是对应N个 组成的序列概率。 2.4 离散无记忆的扩展信源 因为是无记忆的（彼此统计独立），若 则 其中 又 而 2.4 离散无记忆的扩展信源 上式表明离散无记忆信源 的 次扩展信源的概率空间 也是完备集。 根据信息熵的定义， 次扩展信源熵 可以证明离散无记忆信源 的 次扩展信源 的熵等于信源 的熵值的 倍，即： 2.4 离散无记忆的扩展信源 证明:设 是 概率空间的一个符号，对应于由N个 组成的序列 2.4 离散无记忆的扩展信源 因为： 所以： 故： 先考察其中一项 2.4 离散无记忆的扩展信源 例2.6求离散无记忆信源的二次扩展信源及其熵。 解：二次扩展信源的概率空间为 X2 ?1 ?2 ?3 ?4 ?5 ?6 ?7 ?8 ?9 序列 a1 a1 a1 a2 a1 a3 a2 a1 a2 a2 a2 a3 a3 a1 a3 a2 a3 a3 P(?i) 1/4 1/8 1/8 1/8 1/16 1/16 1/8 1/16 1/16 2.4 离散无记忆的扩展信源 上式可直观的理解，扩展信源 的每一个输出符号 是由 个 组成的序列 ，且序列中前后符号是统计独立 现已知每个信源符号 含有的平均自信息量为 ，则 个 组成的平稳无记忆序列平均含有的自信息量 为 ，所以信源 每个输出符号 含有的平均自信息量为 。 电子信息工程学院 电子信息工程学院 电子信息工程学院