[经济学]第2章 信源与信息熵.pptVIP

* * 2.3离散序列信源的熵 Eg 求马氏链平均符号熵（三个状态） * * 2.4连续信源的熵与互信息 幅度连续的单个符号信源熵 * * 2.4连续信源的熵与互信息 幅度连续的单个符号信源熵 * * 2.4连续信源的熵与互信息 波形信源熵 * * 2.4连续信源的熵与互信息 最大熵定理 * * 2.4连续信源的熵与互信息 * * 2.4连续信源的熵与互信息 最大熵定理 限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵 * * 2.4连续信源的熵与互信息 * * 2.5冗余度 冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性 * * 2.5冗余度 Eg. 计算英文字母冗余度 * * 2.2离散信源熵与互信息 * * 2.2离散信源熵与互信息 单符号离散信源熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息熵，单位为比特/符号 * * 2.2离散信源熵与互信息 离散信源条件熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列 * * 2.2离散信源熵与互信息 离散信源联合熵 定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列 * * 2.2离散信源熵与互信息 联合熵、条件熵与熵的关系 * * 2.2离散信源熵与互信息 单符号离散信源互信息 定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特 * * 2.2离散信源熵与互信息 单符号离散信源互信息 * * 2.2离散信源熵与互信息 条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为： * * 2.2离散信源熵与互信息 条件互信息量与联合互信息量 定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为： * * 2.2离散信源熵与互信息 Eg1(p23) 设信源发出8种消息符号，各消息等概发送，各符号分别用3位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息x4，用二进码011表示， 接收到每个二进制码元后得到有关x4信息。 * * 2.2离散信源熵与互信息 * * 2.2离散信源熵与互信息 平均互信息量 其中 * * 2.2离散信源熵与互信息 熵的性质 对称性 非负性 确定性 香农辅助定理 最大熵定理 条件熵小于无条件熵 * * 2.2离散信源熵与互信息 非负性 * * 2.2离散信源熵与互信息 对称性 * * 2.2离散信源熵与互信息 确定性 香农辅助定理 * * 2.2离散信源熵与互信息 最大熵定理 条件熵小于无条件熵 * * 2.2离散信源熵与互信息 平均互信息的性质 非负性 互易性 与熵和条件熵及联合熵关系 极值性 凸性函数性质 信息不增性原理 * * 2.2离散信源熵与互信息 非负性 * * 2.2离散信源熵与互信息 互易性 * * 2.2离散信源熵与互信息 平均互信息与熵的关系 * * 2.2离散信源熵与互信息 互信息量与熵的关系 * * 2.2离散信源熵与互信息 极值性 * * 2.2离散信源熵与互信息 凸性函数 当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数 当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数 * * 2.2离散信源熵与互信息 信息不增性 * * 2.3离散序列信源的熵 离散无记忆信源的序列熵 * * 2.3离散序列信源的熵 离散无记忆信源的序列熵 平均每个符号熵（消息熵） * * 2.3离散序列信源的熵 离散有记忆信源的序列熵和消息熵 * * 2.3离散序列信源的熵 Eg 求信源的序列熵和平均符号熵 a1 a2 a3 a1 a2 a3 9/11 1/8 0 2/11 3/4 2/9 0 1/8 7/9 * * 2.3离散序列信源的熵 离散有记忆信源的序列熵和消息熵 结论1 是L的单调非增函数 结论2 结论3 是L的单调非增函数 结论4 * * 2.3离散序列信源的熵 马氏链极限熵 * * 2.3离散序列信源的熵 * * 第2章 信源与信息熵 信源描述与分类 离散信源的信