信息论基础第3章.pdfVIP

信息论基础 第3章 离散信源和熵 通信与信息工程学院 雷维嘉 本章内容  3.1 离散信源的分类  3.2 离散信源的N次扩展信源  3.3 离散平稳信源  3.4 马尔可夫信源  3.5 信源的相关性和剩余度 2 3.1 离散信源的分类  按照离散信源输出的是一个消息符号还是消息 符号序列，可分为单符号离散信源和多符号离 散信源。  按输出符号之间依赖关系分类，多符号离散信 源可分为无记忆信源和有记忆信源。  按照信源输出的符号序列的统计特性是否随时 间变化，多符号离散信源可分为平稳信源和非 平稳信源。 3.1 离散信源的分类 3  离散信源的N次扩展信源  对信源输出的符号序列进行分组，每N个符 号一组，只考虑组内各符号之间的关联性， 而假定组与组之间是统计独立的。  马尔可夫信源  只考虑到信源发出的消息符号与前面有限个 符号的依赖关系，不考虑与更前面发出符号 的依赖关系，即用有限记忆源去近似实际信 源。 3.1 离散信源的分类 4  离散信源的分类 3.1 离散信源的分类 5 3.2 离散信源的N次扩展信源  定义  如果由N个符号组成的序列代表一条完整的消 息，而且序列和序列之间相互独立，此时的离 散信源可以等效为一个新的信源。  新信源每次输出长度为N的符号序列，可用N 维离散随机矢量X=(X X …X )来描述，其中 1 2 N 每个分量都是随机变量。称为离散信源X 的N 次扩展信源，一般标记为XN 。长度为N的符号 序列称为扩展信源符号。 3.2 离散信源的N次扩展信源 6  N次扩展信源的数学模型  设单符号离散信源的数学模型为 é ù é ù X a a  a ê ú ê 1 2 q ú = êP(x )ú êP(a ) P(a )  P(a )ú ê ú ê 1 2 q ú ë û ë û 则离散信源X 的N次扩展信源的数学模型用 N重概率空间表示 é N ù é ù X a1 a2