第2章信源熵学案.ppt

3 平均互信息的非负性 对称性： 数据处理定理： 最大连续熵定理 限峰值功率的最大熵定理 若代表信源的N维随机变量取值被限定在一定范围内，在有限定义域内均匀分布的连续信源有最大熵。 1 4 可以证明 限平均功率的最大熵定理 平均功率为P，均值m受限，当信源概率密度函数为正态分布时，具有最大熵。 2 均值受限条件下的最大熵定理 连续信源输出非负信号的均值受限条件下，指数分布的连续信源具有最大熵。 3 任意其它分布的信源熵为 连续信源不存在绝对的最大熵。连续最大熵与信源的限制条件有关。在不同的限制条件下，有不同的最大连续熵。 平稳信源（如果不平稳则先把其变成分段平稳的）。 1 2 1 马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号； 一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系； m阶马尔可夫信源与记忆长度为m的有记忆信源的区别： 1 2 2 马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系； 3 4 对离散信源，符号个数为q的信源等概率分布时熵最大，其平均自信息量记为: H0＝log q 由于信源符号间的依赖关系使信源的熵减小，使下式成立： 信源符号之间依赖关系越强，每个符导提供的平均信息量越小。 为此，引入信源的冗余度来衡量信源的相关程度(有时也称为多余度)。 §2.2.5 冗余度、自然语信源及信息变差 信息熵的相对率： 信源的冗余度： 信息变差： 英文字母出现概率统计 例：英语----字母表 英文字母共26个加上空格共27个符号。所以由英文字母组成的信源的最大熵： H0＝log 27＝4.76（比特／符号） 考虑到字母之间的依赖关系，可以把英文信源作进一步的近似，看作为M阶马尔可夫信源。这样可以求得： H1＝4.03 比特／符号 H2＝3.32 比特／符号 H3＝3.1 比特／符号 …… H?＝1.4 比特／符号 熵的相对率：?=0.29 信源剩余度：?=0.71 英文信源的剩余度说明： 文中有71％是由语言结构定好的； 只有29％是写文字的人可以自由选择的。 在传递或存储英语信息时，那些有关联的字母可进行大幅度地压缩。 例如100页的书，大约只要存储29页就可以了，其中71页可以压缩掉。 信源的剩余度表示这种信源可压缩的程度。 正是因为原始的信息都有冗余，才有可能对信息进行压缩，以尽量减少冗余，提高每个符号携带的信息量；但另一方面，冗余信息可以提高信息的抗干扰能力，如果信息的某部分在传输中被损坏，则通过冗余有可能将其恢复。 (冗余小,有效) (冗余大,可靠) 中国 ? 中华人民共和国 从提高信息传输效率的角度出发，总是希望减少剩余度（压缩），这是信源编码的作用；从提高信息抗干扰能力来看，总是希望增加或保留剩余度，这是信道编码的作用。 计算连续信源熵的两种方法： 将连续信源的时间抽样，幅度量化，变成离散消息，再用离散熵计算； 只进行抽样，把抽样序列看作量化单位△趋于0时的情况，然后定义计算信源熵。 1 2 § 2.3.1 连续信源的信源熵 §2.3 连续信源 一维概率密度函数（边缘概率密度函数）： 连续信源的数学描述 单变量连续信源的数学模型为： 并满足 令x∈[a,b]，且ab，现将它均匀划分为n份，每份宽度为△＝（a-b）/n，则变量落在第i个区间的概率为pi，则 （中值定理） x p(x) ai 连续信源熵的推导 此时连续变量X就可以用取值为 的离散变量 来近似，连续信源X被量化为离散信源： 且 再按照离散信源信息熵的定义有： 定义前一项取有限值的项为连续信源的信息熵，并记为Hc(X),即 注意： Hc(X)是连续信源的熵，而不是连续信源输出的信息量H(X) 。 连续信源的绝对熵H(X)应该还要加上一项无限大的常数项。 连续信源输出的信息量H (X)是一个绝对值，它取值于∞，而连续信源的熵Hc(X)则是一个相对值，且取值是有限的。 连续信源的熵 这一点可以这样理解：因为连续信源的可能取值数是无限多个，所获得的信息量也将为无限大。 在离散信源中信源输出信息量就是信源熵，两者是一个概念；但是在连续信源中则是两个概念，且不相等。 连续信源熵