第3章 渐近均分性与香农第一定理.ppt

* 渐近均分性与香农第一定理 3.1 n次扩展信源 定义 多符号离散信源对任意两个不同时间起点k和1，概率及直到n维的各维联合概率相同 1、n维离散平稳信源 2、n维离散平稳信源的联合熵 定义 n维离散平稳信源的符号序列中各符号相互独立 3、n维离散平稳无记忆信源/n次扩展信源 表示 n维离散平稳无记忆信源——独立同分布，相当于单符号离散信源的n次扩展信源 4、n次扩展信源的联合熵 例1 二次扩展信源及联合熵 二次扩展信源 二次扩展信源的联合熵 3.2 渐近均分性定理 1、n次扩展信源的渐进均分性 例1 二次和三次扩展信源的概率分布特点 二次扩展信源的概率分布 三次扩展信源的概率分布 n次扩展信源的符号序列分为两组，n越大，组间的概率之和相差越大，组内的概率相差越小——渐进均分性 2、渐进均分性定理 n次扩展信源，任意给定ε0，当n足够大 定理 当n足够大 由大数定理 满足该式的符号序列——典型序列 典型序列的联合自信息等于联合熵——典型序列等概率 满足该式的符号序列——非典型序列 推论1 推论2 3.3 香农第一定理 定理 信源的熵为H(X)，对n次扩展信源进行二进制信源编码，对任意给定的ε0，只要平均码率 ，当n足够大，编码无失真 (1)正定理 当n足够大，n次扩展信源的符号序列划分为典型序列与非典型序列，典型序列的数量 无失真编码——保证对典型序列进行一一对应的编码 无失真编码的码字数量 (2)逆定理 必然有部分典型序列没有对应的码字 有一一对应码字的这些典型序列的编码无失真，它们的概率之和为译码正确概率1-Pe * 渐近均分性与香农第一定理