[工学]信息论-08.ppt

本课程主要内容 什么是信息？ 第二章 离散信源及其信息测度 信源的数学模型及分类 自信息与信息熵 几种信源的信息熵的计算 信源的剩余度 几种信源分类之间的关系 获得的信息量等于自信息量的减少 3.自信息量有什么的特点？ 1. 如果 ，则 2. 当 ，则 3. 当 ，则 4. 两个独立事件联合信息量等于他们分别的信息量之和 4.什么是信息熵？其计算公式是什么？ 信息熵定义为信源的平均信息量 5. 信息熵的九个基本性质是什么？ 基本性质： 对称性、确定性、非负性、扩展性、 可加性、强可加性、递增性、极值性、上凸性 1) 信息熵的对称性 当变量 的顺序任意互换时，熵函数的值不变，即 5）可加性 4) 信息熵的扩展性 6）信息熵的强可加性 两个相互关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵 8）信息熵的极值性（最大离散熵定理） 熵函数 是概率矢量 的严格 型凸函数。即对任意概率矢量 和 及任意 则有 例题2.1 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”，答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？ 设事件A为第一个事件 事件B为第二个事件 事件A的概率 事件B的概率 则从事件A中获得的信息量 则从事件B中获得的信息量 例题 2.2 某地的天气预报为：晴（占4/8）、阴（占2/8）、大雨（占1/8）、小雨（占1/8）。求此地天气预报每种天气状况各自的自信息量与此地天气预报提供的平均自信息量。 晴（占4/8）： （比特） 阴（占2/8）： （比特） 大雨（占1/8）： （比特） 小雨（占1/8）： （比特） 甲地天气预报提供的平均自信息量（信息熵） （比特/符号） 离散无记忆信源的N次扩展信源的信息熵的 计算公式 例题 有一离散无记忆信源 7.请给出 离散平稳信源的完整定义。 在任意两个不同时刻发出符号序列的各维联合概率分布都相同的离散信源 其中 与 为两个不同时刻 例题 某一离散信源 且 其二维平稳信源发出的符号只与前一个符号有关，联合概率为 求信源符号之间无依赖关系时信源X的信息熵，有依赖关系时二维信源的条件熵与联合熵。 条件概率 为 熵的相对率：信源实际的信息熵与具有同样符号集的最大熵的比值 信源剩余度：1减去熵的相对率 例题 有一离散无记忆信源 解方程组，可得 信源的熵 （比特/符号） 11. 什么是信源的熵的相对率？什么是信源剩余度？ * 信息论 编码理论 信源 自信息、信息熵 信道 互信息、信道容量 信源编码 信道编码 信息是事物运动状态或存在方式的不确定性的描述 不仅仅是形式上的消息或情报 ，而且包括消息或情报所含的对事物状态或不确定性的描述 1.信源可以按照什么特点来分类？ 按照信源输出符号的符号集的取值是有限的还是连续的可分为离散信源与连续信源； 按照信源在任意两个不同时刻输出的随机矢量X的各维概率分布是相同还是不相同可分为平稳信源与非平稳信源； 按照信源发出的符号之间有没有相互依赖关系可分为有记忆信源与无记