第1章 信源模型与信息度量课件.ppt

信 息 论Information Theory;第1章 信源模型及信息的度量;§1.1 信源模型及分类;一个函数随机变量X，有N个可能取值： ，各取值出现概率 ;概率空间： 一个样本空间和它的概率测度统称为概率空间 ;;发送端发送的消息为;在信息论中，信源是产生消息（符号）、消息序列以及连续消息的来源； 数学上，信源是产生随机变量X、随机序列X和随机过程X(t,ω)的源。;信源的主要特性;单符号信源;单符号信源： 一个符号代表一个完整的消息 多符号信源： 多个符号代表一个完整的消息;;输出的符号集的取值是不可数的无限值， 即输出消息的取值是连续的;信源在不同时刻输出的符号先后之间是无依赖的，彼此统计独立;信源在不同时刻输出的符号先后之间是相互依赖的;数学模型的建立;二元联合信源;两个信源的联合概率空间;当X，Y相互独立时;§1.2 不确定性与信息量;非常任务Johnny Mnemonic;信息如何度量： 事物特性五花八门 物质有一个量——质量 m 信息可否有一个量：信息量？ 复习一下信里的定义——事物运动状态或存在方式的不确定性的描述。 ;信息的度量问题！;彩票走势图;数量上等于通信前后“不确定性”的消除量/减少量;从概念可知， 若 ， ，不确定性为0。 故不确定性最大为： ， ，等概率。 显然，不确定性的大小与概率分布有关 是什么关系呢？ ;(1) 如p(a1)p(a2)，则I(a1)I(a2)，f[p(ai)]是p(ai)的单调递减函数； (2) 如p(ai)=0，则 I[p(ai)] → ∞ ; (3) 如p(ai)=1，则 I[p(ai)] =0 ; (4) 两个统计独立事件的联合信息量，应等于它 们各自信息量之和： I(ab)=I(a)+I(b);自信息量： 出现后收到关于 的信息量;信息函数中对数log底 log ? p(ai); ;互信息量：观察到 后收到关于 的信息量;条件自信息量：在 已知的条件下 所含的信息量;互信息量：观察到 后收到关于 的信息量;两个消息独立，则;设有12个形状完全相同的球，其中一个球的质量与其他球不同（不知是重还是轻），其他球均等重。为了用天平（无砝码）称出这个不同重量的球，问至少必须称多少次？;设有12个形状完全相同的球，其中一个球的质量与其他球不同（不知是重还是轻），其他球均等重。为了用天平（无砝码）称出这个不同重量的球，问至少必须称多少次？;设有12个形状完全相同的球，其中一个球的质量与其他球不同（不知是重还是轻），其他球均等重。为了用天平（无砝码）称出这个不同重量的球，问至少必须称多少次？;§1.3 平均信息量-熵 ;信息熵;单位： 与自信息量的单位相同;X P;信息熵的物理含义： 对信源的宏观特性的描述 每发一个消息（或符号）所提供的平均信息量 信源的平均不确定性 信息熵H(X)表征变量X的随机性 信息→ 消除不确定性→ H(X)为非负熵 ;条件熵;1、观察到 后，对 保留的不确定性（非平均不确定性）;;当信源X和Y之间统计独立，即：; 这表明，当X和Y统计独立时，信源(XY)的熵，等于 信源X和信源Y各自熵之和．;性质：（强可加性） H(XY)=H(X)+H(Y/X) 或 H(XY)=H(Y)+H(X/Y);证明：;; 两个信源信息熵重合部分，又叫互交熵 两个信源共同拥有的不确定性 当一个信源已知，则另一个信源的这部分不确定性也会消除.; 熵之间关系 维恩(Venn)图; 熵之间关系-相交 ;熵之间关系-独立 ;熵之间关系-重合 ;Shannon熵公式的基本性质：;对称性： 其中 是 的任意变换;例：X表示红、黄、蓝。 Y表示晴、雾、雨。 Z表示雨、晴、雾。 ;确定性：;扩展性：;5) 可加性：; 递增性：;例：利用递增性计算熵函数H(1/2，1/3，1/6); H(p)是p的上凸函数: 对二元熵函数 ，有 p=0.5最大，p=0 or 1最小 H(p)随p偏离0.5而单调下降;定义1（凸域）：n维欧式空间的子空间K，若对于子空间K中任意两个矢量 和 ，它们的线性组合矢量