信息论与编码课件第二章.pptVIP

离散信源符号的信息量 打个比方：举重运动员的体重好比平均功率，举起的重量好比熵功率，这样同一级别举重比赛就相当于在平均功率相同的条件下看谁的熵功率大。 * * * * 注意大小写代表的不同含义；任何概率分布要满足完备性；灵活应用关系式；计算结果要与概念符合 * 注意大小写代表的不同含义；任何概率分布要满足完备性；灵活应用关系式；计算结果要与概念符合 * 注意大小写代表的不同含义；任何概率分布要满足完备性；灵活应用关系式；计算结果要与概念符合 马尔可夫信源 定义 2.17 若信源输出的符号序列和信源所处的状态满足下列两个条件： （1）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号无关。即 当具有时齐性时，即有 及 （2）信源某l时刻所处的状态由当前的输出符号和前一时刻 信源的状态唯一决定，即 （即已知前一时刻信源状态及当前输出符号，则当前信源状态是确定的，或者说取某个状态的概率为1，取其他状态的概率为0） 则此信源称为马尔可夫信源。 马尔可夫信源 定义 2.18 m 阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定： 并满足 则称此信源为m阶马尔科夫信源。当m=1时，即任何时刻信源符号发生的概率只与前面一个符号有关，则称为一阶马尔科夫信源。 马尔可夫信源的熵 对于一个马尔可夫信源，当信源处于某个状态 时，发出一个信源符号所携带的平均信息量，即在状态 下，发一个符号的条件熵为 我们要计算的是马尔可夫信源平均符号熵的极限熵，为简便起见，我们省去了繁琐的证明，假设信源在极限情形处于平稳分布状态（本章如无特别说明，例题均满足此特性），即信源处于某个状态的概率是稳定不变的，这样极限熵应是 剩下的问题是如何求 ？ 马尔可夫信源的熵 由于 是极限稳态分布，它应满足 利用上两式，解方程，即可求得 。 马尔可夫信源的熵 〖例2.8〗有一个二元二阶马尔可夫信源，其信源符号集为{0，1}，各状态下输出各符号的概率如图2-6所示，求信源熵。 E2 1:0.8 0:0.5 1:0.5 1:0.5 1:0.2 0:0.5 0:0.2 00 11 10 01 0:0.8 E3 E4 E1 图2-6 二阶马尔可夫信源状态图 马尔可夫信源的熵 状态转移概率矩阵为 根据状态转移矩阵，可得极限分布应满足 马尔可夫信源的熵 解方程，得 因此，信源熵为 用 的传统数学方法从离散情况向连续情况作推广 连续信源的信息熵 结论：连续信源的熵值无限 的含义 从数学概念上：连续熵不存在。连续随机变量所包含的信息量为无限大，我们不可能全部获取，我们关心的只是其中足以满足我们所需要的一部分。 从物理层面上： 作为参考点， 是相对值，实际通信中关心的是熵差，所以重点研究它符合信息理论研究的本质上的需求。 连续信源的信息熵 连续信源的信息熵 连续信源的熵 相对熵（微分熵） 对相对熵的说明 Hc(X)不能作为连续信源X的不确定性的量度，连续型随机变量的熵为无穷大。非绝对值，而为相对值。定义与离散情形相统一。 Hc(X)的取值：可能不存在，可能为负值。 连续信源的相对熵 1. Hc(X)不存在的例子。 设连续随机变量 X 有概率密度 p(x) 如下： 连续信源的相对熵 2. Hc(X)取负值 设连续随机变量 X 有概率密度 p(x) 如下： 连续信源的相对熵 例2.9：设连续型随机变量X 在区间 [a,b]上服从均匀 分布 则 连续信源的熵计算 例2.10：具有正态分布（高斯分布）的连续型随机变量 连续信源的熵计算 则 连续信源的熵计算 连续信源的信息熵 连续信源的条件熵与联合熵 连续信源的互信息 连续信源的互信息 连续信源的互信息 连续信源的平均互信息 连续信源的I(X;Y)：取值有限；为非负值。 例:设有二维高斯概率密度函数 —— 连续随机变量 X、Y 的均值 —— 连续随机变量 X、Y 的方差 —— 相关系数（归一化协方差） 求 I(X;Y) = ? 连续信源的平均互信息计算 连续信源的平均互信息计算 连续信源的平均互信息计算 连续信源的相对熵、平均互信息的性质 定理2.8（峰值受限） 若随机变量X的取值被限定在区间[a,b]，则X的相对熵 当且仅当X服从均匀分布时具有最