第2章_信源熵2.pptVIP

平均互信息量的性质 平均互信息量的性质(续) 说明：信宿经由信道提取的信息量不会超过信源熵 平均互信息量的性质(续) 固定信道，平均互信息是信源概率的上凸函数 数据处理定理 假定在 Y 发生的条件下，X 与 Z 相互独立，当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小 解决方法：多次测量 数据处理定理的直观描述 2.1.6　各种熵之间的关系 2.1.6　各种熵之间的关系(续) 2.1.6　各种熵之间的关系(续) 2.1.6　各种熵之间的关系(续) 数据处理定理的直观描述 2.2　多符号离散平稳信源 2.2.1　序列信息的熵 2.2.2　离散平稳信源的数学模型 2.2.3　离散平稳信源的信源熵和极限熵 2.2.4　马尔可夫信源 2.2.5　信源冗余度及信息变差 2.2.1　序列信息的熵 实际信源发送一条消息，其输出往往是取值空间或时间上的一个符号序列，称为离散多符号信源 离散多符号信源可以用随机矢量或者随机变量序列来描述，即： 序列信息的熵(续) 序列信息的熵(续) 由单符号离散信源进行 N 次扩展得到的多符号离散平稳无记忆信源的数学模型如下： 序列信息的熵(续) N 次扩展得到的多符号离散无记忆信源的熵 由于扩展信源是无记忆的，因此三次扩展得到的信源的概率空间为： 2.2.2　离散平稳信源的数学模型 离散平稳信源的数学模型(续) 称上述信源为离散(完全)平稳信源 离散平稳信源的数学模型(续) 对离散平稳信源，由联合概率与条件概率的关系可得 离散平稳信源的数学模型(续) 2.2.3　离散平稳信源的信源熵和极限熵 离散平稳信源的信源熵 N 维的离散有记忆平稳信源输出的符号序列每 N 个一组，代表发出一条消息，其信源熵为 ： 根据增加条件只能使不确定性减少以及平稳信源的概率分布与时间无关性可得： 平均符号熵与极限熵 信源平均发一个符号所提供的信息量称为平均符号熵它是多符号离散随机变量序列的 N 个随机变量的联合熵的平均值： 平均符号熵与极限熵的性质 马尔可夫信源 马尔可夫信源是一类相对简单的有记忆信源。信源在某一时刻发出某一符号的概率，除与该符号有关外，只与此前发出的有限个符号有关，与更前面发出的符号无关 马尔可夫信源(续) 马尔可夫信源(续) 若信源输出的随机符号序列与信源所处的随机状态序列满足以下条件： 马尔可夫信源(续) m 阶有记忆离散信源在任何时刻 l，符号发出的概率只与前面的 m 个符号有关 如将时刻 l 之前的 m 个符号序列看作是信源在 l 时刻所处的状态，则信源输出依赖长度为 m + 1 的随机符号序列就转化为对应的状态序列，这种状态序列符合简单的马尔可夫链的性质，可用马氏链来描述，因此称为 m 阶马尔可夫信源 马尔可夫信源的极限熵 m 阶马尔可夫信源与消息长度为 m 的有记忆信源的不同点 2.2.5　信源冗余度及信息变差 信源冗余度及信息变差(续) 为了定量描述信源符号间的相互依赖程度，引入信源熵的相对率与信源冗余度的概念 信源冗余度举例 英语符号出现的概率 信源编码概述 为什么要进行编码 信源发出的消息符号可能不适合信道的传输，为此将信源发出的消息符号转换为适合信道传输的符号 在不失真或允许一定失真的条件下，用尽可能少的符号来传递信源消息，提高信息传输率，提高通信的有效性——信源编码 在信道受干扰的情况下，增加信号的查错或纠错的抗干扰能力，提高通信的可靠性 ——信道编码 提高通信的安全性——加密编码 信源编码概述(续) 信源编码：将信源的原始符号序列，按一定的数学规则映射成码符号(码元)序列的过程 信源编码 含义：信源符号→码符号，以适合信道传输的一种映射(变换) (1)要求 ①无失真：可逆，唯一 ②有效：所编码字尽量短(提高编码效率, 减小信息率) (2)实质：压缩信源输出中的冗余度 ①消息概率分布的非平均—— H0(X)≥H1(X) ② 消息间相关性——H1(X)≥H2(X) ≥H3(X)≥… 对无记忆信源 ——利用① 对有记忆信源 ——利用①，②，主要是② (3)编码 信源编码概述(续) 信源编码概述(续) 信源编码概述(续) 信源编码概述(续) 信源编码概述(续) 即时码中任何一个码字均不是其它码字的前缀 定长无失真信源编码定理 只要码字载荷的信息量大于信源序列携带的信息量，或者只要编码速率稍大于单符号信源熵，总可实现几乎无失真编码 编码速率稍小于单符号信源熵，译码几乎必定失真 定长无失真信源编码(续) 信源给定后，允许的译码失真概率越小，编码效率要求越高，则信源序列长度 N 就必须越长 实际情