信息论chapt3.pptVIP

Chapter 3 Information source 3.1.2 信源类型 3.2.2 离散无记忆扩展信源 3.2.2 离散无记忆扩展信源 3. 熵（平均信息量）： 3.2.2 离散无记忆扩展信源 3.3 离散平稳信源 3) 若各位联合概率均满足： 3.3.1 离散平稳信源定义 3) 若各位联合概率均满足： 3.3.1 离散平稳信源定义 则N维平稳信源的条件，等同于条件概率需满足： 3.3 离散平稳信源 3.3.2 离散平稳信源的联合熵、条件熵、平均符号熵及极限熵 3.3.2 离散平稳信源的联合熵、条件熵、平均符号熵及极限熵 3.3.2 离散平稳信源的联合熵、条件熵、平均符号熵及极限熵 已知前面N－1个符号时，后面出现一个符号的平均信息量→条件熵： 3.4.1 信源状态 3.4.2 马尔科夫信源 3.4.2 马尔科夫信源 3.4.2 马尔科夫信源 并且，由图可知： 3.4.2 马尔科夫信源 不难看出： 3.4 马尔科夫信源 3.4.3 m阶马尔科夫信源 3.4.3 m阶马尔科夫信源 例3.4.2 3.4 马尔科夫信源 3.4.4 马尔科夫信源的熵 3.4.4 马尔科夫信源的熵 1. 对于马尔科夫信源的一步转移矩阵P，若存在一个正整数N，使得P N中的所有元素都大于零，该马尔科夫信源则为遍历的。 3.4.4 马尔科夫信源的熵 3.4.4 马尔科夫信源的熵 由状态转移图可见，无论信源在何种状态，只要信源状态一定，发出信源符号的概率不会随时间的不同而改变——故具时齐性。 3.4.4 马尔科夫信源的熵 将状态转移概率代入公式： 3.4.4 马尔科夫信源的熵 3.4.4 马尔科夫信源的熵 Notes: 3.5 离散信源及其熵的处理方法归纳 5）信源若可近似看作等概率分布的离散无记忆信源，则信源熵为： Chapter 4 Information source coding 1）马尔科夫信源 —— 满足时齐遍历条件,才有相应的极限熵求取公式。否则，即使是平稳的，极限熵求取实际上也是相当困难的。 2）在工程实际上，m阶马尔科夫信源的m =？合适，需要通过工程实际加以总结归纳。 3.5 离散信源及其熵的处理方法归纳 1）一般离散信源，可能是有记忆且非平稳，用熵来表征也比较困难。 2）若是有记忆但却是平稳信源，理论上存在极限熵H∞，可用H∞来表征信源的熵特征。但对于一般平稳信源，实际上求取极限熵相当困难。可考虑采用条件熵 或平均符号熵近似代替H∞，但N需足够大。 3）对于有记忆平稳信源，若进一步可近似为时齐遍历马尔科夫信源，有相应的极限熵求取公式。 4）信源若可近似看作无记忆信源，则可用消息熵 H(XN) 甚至符号熵 H(X) 来表征信源的熵特征。 如上所述，信源逐级近似，信源的平均符号熵逐步向最大值 logq 逼近。 并且，随着信源发出的符号之间的依赖关系减弱，平均每个信源符号提供的信息量就越大，但最大不会超过logq。 一般情况下，信源发出的符号之间，总存在一定的依赖关系——进行消息传输或存储时，相关联的消息符号则可以进行适当压缩。需要时，被压缩的消息符号可以根据信源统计特性进行恢复，从而大大减少传输或存储的消息符号数量，提高信息的传输或存储效率→数据压缩的理论基础。 ※ 如同社会中上下级关系，省长权利永远大于县长，可能因人、却不会因时而异。 ※如，红白球若干，不放回抽样。每次随机取到红球概率：与之前取走何种颜色球有关（不同符号），且与之前取了多少次有关（不同时间）。 ※如，一篇文章中某一个字的出现概率，与之前相邻若干个字可能相关，但与文章开头第一个字的关系并不大。 # 实际上，以前发出的信源符号已经归化到信源状态中考虑了，之前的信源状态也已经转移到当前信源状态了。 …如，信源处于状态e5时，发出a1、a2的概率为1/4，发出a3的概率为1/2，至于在此之前信源处于那种状态、曾经发出过什么信源符号，并不影响信源处于状态e5时的符号发出概率。 …如，信源处于状态e5时，若发出a1 →信源仍是状态e5，若发出a2、a3 →信源状态改变为e4。之前的信源状态一定，当前发出符号一定，信源状态就一定了，不会出现状态不定情况（如，发出的同一个信源符号对应几个状态）。 …如，无论何时，信源从e1转移到e2的概率都是1/4，不会出现由于时间不同，信源从e1转移到e2的概率会有不同的情况。 * * 3.1 信源及其类型 3.2 离散无记忆信源 3.3 离散平稳信源（有记忆信源） 3.4 马尔科夫信源 3.5 一般离散信源及其熵的处理方法 信