[2018年必威体育精装版整理]02-信源与信源熵.pptVIP

信源与信源熵 第一节 信源的描述与分类 按时间和幅度分为： 离散信源 连续信源 按信源发出符号之间的关系： 无记忆信源 有记忆信源 1. 离散无记忆信源 （1）单符号离散无记忆信源 它是最简单的也是最基本的信源。 后发出的消息（符号）的概率与前面是什么符号无关。 即如果先验概率已知，则每个符号出现的概率就是其先验概率。 例： （2）L次扩展信源 实际的信源输出的消息是时间或空间上离散的一系列随机变量。这类信源每次输出的不是一个单个的符号，而是一个符号序列。在信源输出的序列中，每一位出现哪个符号都是随机的，这种信源称为：多符号离散信源 ；对连续信源而言则是一随机过程（连续信源） 。 L次扩展信源的数学模型 单符号离散信源的数学模型为 信源 X 的 L 次扩展信源用 XL 表示，它是具有 nL 个元素(消息序列)的离散信源，其数学模型为 其中q=nL，每个符号ai是对应于某一个由L个xi组成的序列 ai的概率p(ai)是对应的L个xi组成的序列的概率 因为信源是无记忆的，所以消息序列 2. 离散有记忆信源 3. 马尔可夫信源 输出的符号序列中符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关。 若与前面 m 个符号有关，此种有记忆信源叫做“m阶马尔可夫信源”，可用马尔可夫链来表示。 已知 m阶马尔可夫信源符号在任何时候发生的概率只与前面m个符号有关，因此，可以把前面m个符号看作信号在此时刻所处的状态。 若信源符号共有n个{a1,a2,…,an}, 则此m阶马尔可夫信源共有Q=nm个状态。 状态集 S={s1,s2,…,sQ} 用 si i=1,2,…Q 表示状态变量 条件概率p(aj|si)表示在任一时刻信源处在状态si时发出符号aj的概率。 例：二元三阶马尔可夫信源 此种信源，任何状态之间的转移都由“一步”转移概率决定。 此刻我们只研究状态序列是“遍历”的马尔可夫链所对应的信源。称为“遍历的马尔可夫信源”。 此种信源的状态存在一个极限概率，用 W(sj)或Wj表示 第二节 离散信源的熵和互信息 2、离散信源的熵 平均信息量—信源熵：自信息的数学期望。 推导例： 信息熵的单位：一般以2为底，其单位为比特/符号。 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。 举 例 有两个信源，其概率空间分别为 信息熵分别为 H(X)=-0.99log0.99-0.01log0.01=0.08 比特/符号 H(Y)=-0.5log0.5-0.5log0.5=1 比特/符号 可见 H(y)H(x) 本例结论 信源Y的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大； 信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，所以信源X的不确定性要小； 信息熵反映的就是信源输出前平均不确定程度的大小。 3、条件熵、联合熵 在给定yj的条件下，xi的自信息量I (xi|yj,)，对于整个X集合，用条件熵来表示： H (X | yj) 对于整个Y集合来说，X集合的条件熵：H (X | Y) 第三节 离散序列信源的熵 1 离散无记忆序列信源的熵 L次扩展信源 联合熵：H (X Y) 表示X Y同时发生的平均不确定度 熵、条件熵、联合熵之间的关系 例： 例二：二进制通信系统使用符号0和1，由于存在失真，传输时会产生错误，用符号表示下列事件： u0：一个0发出 v0 ：一个0收到 u1：一个1发出 v1：一个1收到 给定下列概率： p(u0 )=1/2 p(v0|u0)= 3/4 p(v0|u1)= 1/2 求（1）已知发出一个0，收到符号后得到的信息量； （2）已知发出的符号，收到符号后得到的信息量； （3）已知发出的和收到的符号，求能得到的信息量 （4） 已知收到的符号，求被告知发出的符号的信息量 解