单符号离散信源学习.pptVIP

凸集和凸函数 定义:若 是凸集.若函数f :Rn—R满足: 则称f是S是上的∩型凸函数. 凸函数的几何解释: 函数图象上的任意两点确定的弦在其图象的下方. 熵函数的上凸性 熵函数H(P)=H(p1,p2,…,pr)是概率矢量P的∩型凸函数. 证明： 信息熵的最大值 最大离散熵定理 均值受限的最大熵值 最大离散熵定理 在约束条件∑pi=1的约束下,求熵函数H(p1,p2,…,pr) 的条件极大值? 解:作辅助函数 两端对pi求偏导,并令其等于0,有 最大离散熵定理 均值受限的最大熵值 在约束条件∑pi=1和∑aipi=m的约束下,求熵函数H(p1,p2,…,pr)的条件极大值? 解:作辅助函数 两端对pi求偏导,并令其等于0,有 均值受限的最大熵值 由约束条件∑pi=1,有 由约束条件∑aipi=m,有 均值受限的最大熵值 信息熵的最大值 例:试计算输出数字的均值分别限定为m1=0和m2=0.5时,二元 信源X:{-1,1}的最大信息熵值. 第1章 单符号离散信源 单符号离散信源的数学模型（1.1） 自信息和信源熵（1.2—1.3，1.7） 熵的基本性质和定理（1.4—1.6） 加权熵及其基本性质（1.8） 加权熵及其基本性质 加权熵： 加权熵及其基本性质 （1）非负性 （2）对称性 （3）连续性 加权熵是信源概率分量、效用权重系数的连续函数. 加权熵及其基本性质 （4）递推性 其中： 加权熵及其基本性质 （5）均匀性 （6）等重性 加权熵及其基本性质 （7）确定性 （8）非容性 加权熵及其基本性质 （9）扩展性 其中： （10）同比性 第1章 单符号离散信源 单符号离散信源的数学模型（1.1） 自信息和信源熵（1.2—1.3，1.7） 熵的基本性质和定理（1.4—1.6） 加权熵及其基本性质（1.8） 单符号离散信源的数学模型 信源可能输出的消息数是有限的或可数的，且每次只输出其中一个消息.用离散型随机变量X来描述这个信源输出的消息.随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集. 当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定.所以，概率空间能表征这离散信源的统计特性，有时也称概率空间为信源空间. 单符号离散信源的数学模型 单符号离散信源的数学模型： 其中： 第1章 单符号离散信源 单符号离散信源的数学模型（1.1） 自信息量和信源熵（1.2—1.3，1.7） 熵的基本性质和定理（1.4—1.6） 加权熵及其基本性质（1.8） 自信息量和信源熵 自信息量： 自信息量和信源熵 自信息量： 自信息量和信源熵 自信息量公理性条件： 自信息量和信源熵 数学证明，满足上述公理性条件的函数为： 自信息量的单位： 自信息量和信源熵 信源熵定义：信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵，记为H(.) 计算公式： 单位：比特/符号（以2为底） 熵函数的公理构成 熵函数必须满足的三个公理条件： 信源某个符号的概率的微小变化，不会引起熵函数的巨大变化?H(.)是pi的连续函数； 信源等概分布时， H(.)是r的函数，且是单调增函数； 熵函数满足递推性.即若∑qj=pr，则 熵函数的公理构成 （1）等概信源熵函数的公理构成 熵函数的公理构成 熵函数的公理构成 熵函数的公理构成 （2）一般非等概信源熵函数的公理构成 假定概率pi(i=1,2,…,r)为有理数,则总可找到足够小 的正数ε,有 非等概信源转变为等概信源: 熵函数的公理构成 等概信源的熵函数: 同时: 自信息量和信源熵 观察随机变量X、Y、Z H(X) =-0.01log0.01-0.99log0.99 =0.08（比特/符号） H(Y) =-0.5log0.5-0.5log0.5 =1（比特/符号） H(Z) =5(-0.2log0.2) =2.32（比特/符号） 自信息量和信源熵 信源熵的物理含义： 熵是随机变量的随机性的描述 变量Y、Z等概，随机性大，变量X不等概，则随机性小 等概情况下，可取值越多，随机性越大 H（）是描述随机变量所需的比特数 熵是随机变量平均不确定性的描述 X试验中发生a1,获得的自信息为-log0.01=6.64(bit) Y试验中发生a1,获得的自信息为-log0.5=2.32(bit) H（）反映的是平均的不确定性 自信息量和信源熵 例： 自信息量和信源熵 第1章 单符号离散信源 单符号离散信源的数学模型（1.1） 自信息和信源