信息论与编码第2章PPT课件.pptVIP

2.3离散序列信源的熵 马尔可夫信源 定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，pj称为平稳分布 2.3离散序列信源的熵 马尔可夫信源 定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj 2.3离散序列信源的熵 不可约性，对于任意一对i和j， 都存在至少一个k，使pij(k)0 非周期性，所有pij(n)0的n中没有比1大的公因子。 定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。 2.3离散序列信源的熵 离散无记忆（序列中的符号之间无相关性）信源的序列熵 2.3离散序列信源的熵 平均每个符号熵（消息熵）——平均符号熵 2.3离散序列信源的熵 离散有记忆信源的序列熵和消息熵 其中 称为平均符号熵 2.3离散序列信源的熵 例2.6 (p.31) 求离散序列信源的序列熵和平均符号熵 信源各符号的概率空间 二重符号序列(ai,aj)的概率 关联性由条件概率p(aj/ai) a1 a2 a3 a1 a2 a3 9/11 1/8 0 2/11 3/4 2/9 0 1/8 7/9 2.3离散序列信源的熵 例2.6 (p.31) 求信源的序列熵和平均符号熵 解： 条件熵 单符号信源熵 二重序列的熵 平均符号熵 注意： ——存在关联性引起的 2.3离散序列信源的熵 离散有记忆信源的序列熵的性质 结论1 条件熵 是L的单调非增函数 即条件熵不大于无条件熵；条件较多的条件熵不大于条件较少的条件熵 结论2 平均符号熵不小于条件最多的条件熵 结论3 是L的单调非增函数 结论4 其中 称为极限熵 2.3离散序列信源的熵 马氏链极限熵 2.3离散序列信源的熵 根据以上的讨论研究，可得如下结论： 其中 等概分布单符号无记忆信源熵（最大）； 非等概分布单符号无记忆信源熵； 两符号序列平均符号熵； L符号序列平均符号熵； 极限熵 2.4连续信源的熵与互信息 幅度连续的单个符号信源熵 2.4连续信源的熵与互信息 幅度连续的单个符号信源熵 结果中第一项与离散信源熵的形式类似，是定值，称为连续信源的相对熵（差熵）； 第二项我无穷大项，这与连续信源消息数为无穷大相对应。 2.4连续信源的熵与互信息 为什么连续信源的不确定度为无穷大? 虽然连续信源熵与离散信源熵具有相同的形式，但其意义不同 连续信源的不确定度应为无穷大，这是因为连续信源可以假设是一个不可数的无限多个幅度值的信源，需要无限多个二进制比特来表示，因而它的熵为无穷大(绝对熵) 但采用上式来定义连续信源的熵是因为在实际问题中，常遇到的是熵之间的差，如互信息量，只要两者逼近时所取的△x 一致，上式中第二项无穷大量是可以抵消的 2.4连续信源的熵与互信息 幅度连续的单个符号信源熵 2.4连续信源的熵与互信息 波形信源熵 2.4连续信源的熵与互信息 最大熵定理 2.4连续信源的熵与互信息 最大熵定理 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵 2.5冗余度 冗余度（多余度、剩余度）表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性 2.5冗余度 例2.7 (p.38-39)计算英文字母冗余度 只考虑27个符号，不考虑字母出现的概率分布时 2.5冗余度 考虑字母出现的概率分布，但认为字母间是离散无记忆的，则 考虑字母之间存在较强的相关性，某些双字母组合及三字母组合出现概率很大，如 th,he,in,er,an,re,ed,on,es,st,en,at,to,nt,ha,nd,ou,ea,ng,as; the,ing,and,her,ere,tha,nth,was,eth,for,dth,hat,she,ion,int,his… 2.5冗余度 考虑字母之间存在较强的相关性，将英文信源作为二阶、三阶和高阶平稳信源时 若不考虑字母出现的概率分布和字母之间存在较强