第2章 信源和熵.ppt

第2章 信源和熵 如果信源输出的消息是预先知道的，那么，该消息就不含信息； 如果信源输出的消息是我们不确定的，则该消息就含有信息。 2.1 信源的模型 如果信源的事件、符号或样本空间用X表示，它们对应的概率用p(x)表示，那么，该信源可以用X和p(x)的组合构成概率空间来描述，即 这就是一个不确定事件的数学模型。 从电信号的角度来看，信源可以分为两大类：离散信源和连续信源。 离散信源的样本在时间上和幅度上都是离散的。 连续信源的样本在时间上和幅度上都是连续的。 离散信源的家族关系： 离散无记忆信源（单符号无记忆信源和多符号无记忆信源）， 离散有记忆信源（多符号有记忆信源和多符号马尔可夫信源）。 连续信源的家族关系： 一维连续信源， 多维连续信源。 2.2 离散信源的熵 一般来说，信息是指事件的不确定性。 从通信的角度来说，信息就是符号是否被发送出去的不确定性。 例如1：符号a是否发生的不确定性等于 它反映符号a自身所包含的信息，或者是a发生后对外界产生的影响。 例2.2.1 例2.2.2 例如2：接收端获得符号b后，对发射端送出符号是不是a的疑惑为 它表示事件(a|b)所包含的条件信息。 例如3：我们在接收端获得符号b后，获得对发射端送出符号a的了解为 它反映了通信系统传送的信息，叫互信息。 信源的不确定性或信息量用数学期望来衡量， 它反映的是信源的平均信息量，叫做信息熵。 例2.2.3 例2.2.4 信息熵的性质有： （1）对称性 （2）确定性 （3）非负性 （4）扩展性 （5）可加性 （6）极值性 例2.2.6 2.3 离散无记忆信源 扩展信源的事件是由一连串的符号组成的。这个概念可以从通信的角度来看或理解。 所以N维扩展信源的数学模型是 无记忆的N次扩展信源的信息熵 这个等式反映了信息熵的哪个性质？ 例2.3.1 2.4 离散平稳信源 平稳的含义是从概率与时间无关的角度来考虑的。 信源还可以从维数来考虑。 平稳信源的一般或广义的概念 平稳信源的基本公式是 对于平稳信源来说，其条件概率均与时间无关，只与符号的长度有关。 二维平稳信源能表示多种实用的情况，例如 双符号的信源，发射和接收的信源，存储和提取的信源，传输系统，等等。 怎样定义双符号的信息熵呢？ 它的含义是两个符号同时发生的平均不确定性。它的专业术语是什么？ 对于一个符号发生后另一个符号是否发生的有条件事情来说，它的平均不确定性是什么意思呢？怎么求呢？ 首先， 然后， 最后， 这种不确定性H(X2|X1)的反映的是什么概念？专业术语叫什么？ H(X1X2)和 H(X2|X1)的关系是怎样的？ 例2.4.1的计算 如何将二维平稳信源的结果推广到一般的信源？ 联合熵 条件熵 怎么理解各种熵的性质？ 从符号串的角度来看， 从通信的角度来看。 2.5 连续信源的熵 连续信源的特点。 借助或利用离散信源的理论。 怎么利用呢？ 单符号连续信源的数学模型， 这种信源的信息熵是 当q→∞时，将发生什么情况呢？ 出于这个特殊原因，连续信源的信息熵被定义为 相应地，连续信源的数学模型是 例2.5.1 例2.5.2 波形信源的概念是什么？ 从例2.5.1来看，连续信源没有最大熵。 连续信源真的没有最大熵吗？ 相对是看问体的很重要的方法。 （1）信源输出的幅度受限制的情况 （2）信源输出的平均功率受限制的情况 峰值功率受限条件下信源的最大熵 平均功率受限条件下信源的最大熵 2.6 信源的冗余度 信源熵有两个方面的含义： 衡量信源的每个符号携带的信息量， 衡量信源传输信息时需要的符号量。 由此产生两个衡量标准： 信源效率 信源冗余度 例2.6.1 2.7 离散信源的无失真编码 什么叫离散信源的无失真编码？ 信源编码器 编码原理图 例如：将基本字符变为十进制、二进制和四进制。 为了提高编码效率，可以对信源的基本符号扩展，然后再对它们进行编码。 例如传真机的黑白编码，标准传真的一行有1728个像素，编码的方法有逐点编码和逐行编码。 逐行编码的部分码表是： 将单符号信源扩展N次后得到的信源SN，设它的每个信源符号串需要的码长为li，那么，信源SN的平均码长为 这样一来，编码后的信源传输效率(rate) 编码效率则是 例2.7.1 （1） （2） 信源的无失真变长编码定理（香农第一定理）： 对于离散无记忆信源S进行N次扩展时，总能找到一种最佳的编码方法，构成唯一可译码，它们满足 这说明什么？ 因为 所以，当N — ∞时， 其意义有四点： （1）压缩极限