测量信息论基础.pptVIP

熵的单位是[bit/事件]。

不同信源，其统计特性不同，熵也不同。第29页，共56页，星期日，2025年，2月5日信息熵分别为：第30页，共56页，星期日，2025年，2月5日信息熵的特性（性质）：

⒈对称性当概率空间P（x1），P（x2）…顺序任意互换时，熵函数值不变。⒉确定性如果信源的输出只有一个状态是必然的，即P（x1）=1，P（x2）=P（x3）=…=0，则信源的熵⒊非负性即H（X）≥0因为：0P（xi）1，所取对数的底大于1，logP（xi）0，-P（xi）logP（xi）0，即熵为正值。第31页，共56页，星期日，2025年，2月5日⒋可加性统计独立信号源X和Y的联合信号源的熵等于它们各自的熵之和。⒌极值性信号源各个状态为等概率分部时，熵值最大，并等于信源输出符号（状态）数。即第32页，共56页，星期日，2025年，2月5日第33页，共56页，星期日，2025年，2月5日第34页，共56页，星期日，2025年，2月5日连续信源及最大熵定理

连续信源的数学模型为连续型的概率空间。P（x）是随机变量x的概率密度函数。第35页，共56页，星期日，2025年，2月5日连续信源的熵为：

该熵又称为相对熵或差熵。第36页，共56页，星期日，2025年，2月5日最大熵定理

在连续信源中，当各约束条件不同时，信源的最大相对熵值不同。峰值功率受限条件下信源的最大熵第37页，共56页，星期日，2025年，2月5日概率密度第38页，共56页，星期日，2025年，2月5日平均功率受限条件下信源的最大熵若一个信源输出的平均功率有限，则其输出信号的概率密度分布是高斯分布时，信源有最大熵。一维随机变量x的概率密度分布为：第39页，共56页，星期日，2025年，2月5日M是x的均值，σ2是x的方差。该连续信源的熵

正态分布的连续信源的熵与数学期望m无关，只与方差σ2有关。第40页，共56页，星期日，2025年，2月5日第1页，共56页，星期日，2025年，2月5日信息论源于通信工程，背景是关于通讯中的：⒈信息传输的效率⒉信息传输的准确性⒊噪声干扰⒋信道频率特性第2页，共56页，星期日，2025年，2月5日广义通信系统，即信息流通系统

第3页，共56页，星期日，2025年，2月5日广义通信系统模型

信息从信息源（informationsource）传送到信宿。发信器（transmitter）又称编码器，把信息变换成物理信号。受信器（receiver）又称译码器，把物理信号转换成信宿能感知的信息的装置。信宿（destination）是信息传输的对象。第4页，共56页，星期日，2025年，2月5日信息的定量描述——信源模型与信息熵。

自然科学通常都应作定量的描述，定性描述只能解释一些现象。从理论上研究信息大小当作定量描述。Shannon信息理论的贡献在于：运用概率论与数理统计学方法，对信息给予了数学描述。从而使信息论作为一门科学建立起来。第5页，共56页，星期日，2025年，2月5日信源的输出是随机的。信源的输出常用随机变量或随机矢量来描述，从随机变量出发研究信息，是shannon信息理论的基本假设。由概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相应的信源称为离散信源及连续信源。第6页，共56页，星期日，2025年，2月5日离散信源模型

离散信源模型是离散型概率空间，即:x1,x2,…,xN描述信源输出的可能状态。P（x1）P（x2）P（xN）描述各种状态出现的可能性。第7页，共56页，星期日，2025年，2月5日信源状态的出现是不相容的。例如：抛硬币其中，P（x1）=P（x2）=0.5，该系统为等概率事件，称为先验概率。第8页，共56页，星期日，2025年，2月5日用超声波检测物体内部有无裂纹

第9页，共56页，星期日，2025年，2月5日X1代表物体内部有裂纹X2代表物体内部无裂纹第10页，共56页，星期日，2025年，2月5日自信息某事件发生所含有信息量称为自信息，它是该事件发生的先验概率的函数，即I（xi）=f[P（xi）]P（xi）是事件xi发生的先验概率；I（xi）表示事件xi发生所含有的信息量。第11页，共56页，星期日，2025年，2月5日信源中某一状态发生的先验概率很小，但一旦发生，所获得的信息量就多。例如：一台新机器，具有正常工作和发生事故两种可能状态。正常工作概率为P（x1）=0.99，