5.5熵及信息§5.6生命《赖负熵为生》.pptVIP

§ 5.5 信息熵、信息量与负熵;一、熵概念的发展简史 熵最初产生于18世纪初，Carnot研究热机效率发现可逆循环过程，随后Clausius根据可逆Carnot循环过程定义了态函数熵。 Clausius明确了熵态函数，但没有给出更深刻的物理含义。 直到19世纪中期，1887年波尔兹曼著名公式：w是热力学体系宏观态的微观状态数。当初称热力学几率，其实这个词并不确切。因为：通常几率在＜0，1＞区间，而热力学体系宏观状态的微观状态数w总是大于1，而且数量级非常之高。 1928年，Hartrey可能受波尔兹曼关系的启发，首次在通信领域里提出信息熵的定义： ; N是等概率消息单元的总数，信息熵H的意义是输送一个消息单元的不肯定性程度的量度。等概消息单元总数N愈多，信息熵H愈大，输送一个消息单元的不肯定性程度就愈大；反之，N愈少。当消息单元的总数N=1时，H=0，输送这个消息的不肯定性程度为零，就是完全肯定输送这个消息。;3、1948年，shannon推广Hartrey信息熵的定义，首先引入各不等概消息单元不肯定性的量度——本征信息熵为：;Pi是第i个消息单元的概率，n是不等概消息单元的总数。 本征信息熵的意义：第i个消息单元Xi的不肯定性程度的量度。 总信息熵的意义：信息源X的总的不肯定程度的量度。;4、随着生物信息论、经济信息论、社会信息论等学科不断运用信息熵，使之有进一步的泛化的必要。熵的产生于热力学，扩展于信息论等学科领域。在不同的学科里，对熵的意义提法有所不同。但是从泛熵的概念高度来看。它们在本质上是一致的。凡是属于下列一类的对立统一性质的事物，例如： 混乱性——秩序性， 散漫性——组织性。 无序性——有序性， 不肯定性——肯定性。 盲目性——目的性， 一般性——特异性， 随意性——计划性， 随机性——确定性， 多样性——单纯性， 含糊性——透彻性， 暧昧性——明确性， 未知性——已知性 噪声——信号，………;并且满足如下概型条件;二、信息源的概型结构 本征信息熵;信息源特点： 它们都具有一系列可能的基本状态，叫本征态。每一本征态称为一个消息单元，记：Xi（i=1,2,3……n），这n个消息??元或本征态序列实际上就是离散的随机变量，它具有互斥性和完备性。互斥性：信息源可能处于这个基本状态，也可能处于其余的基本状态，但不能同时处于同一个本征状态，处于这个本征态，就不处于其它本征态；完备性：这个n个消息单元是完备无缺的。这个n个互斥的完备的消息单元构成一个消息单元的集合，记：X≡［X1， X2 ，……Xn］ 每个消息单元Xi都有个确定的概率与之相对应，记：p(Xi)，整个消息单元的集合X有概率： P (X) ≡［P(X1)， P(X2 )，……P(Xn)］分布着，消息单元集合的互斥性与完备性反应在概率上是概率的总和具有归一性。;因此，信息源的基本概型结构： 消息单元Xi X1， X2 ， …… Xn 概率分布P(Xi) P(X1)， P(X2 )，…… P(Xn) ; 当工作人员又接到家信得悉母亲经抢救后，已恢复意识，正在积极进行治疗。这时信息源的本征态或消息单元的集合概率分布已发生了变化。;提出一个问题：各个消息单元的不肯定程度多大？ 概论大，可能性就越大，不可定性程度就越小；反之，概率小，可能性就越小。 例如：X5康复的概率最大到1，其它概率降为零，这个消息单元X5就完全肯定了。不确定性为零。 因此，本征信息熵定义：消息单元概率的倒数的对数为消息单元的不肯定性程度的量度。;第二次电话后，五个本征态或消息单元，各个本征信息熵：;三、信息源不肯定性的量度——信息熵;第二次电话后，平均一个消息单元的不肯定性程度为 信息源的信息熵。;如果概率分布不是均等的。设：;信息熵应用;方 向;定量可知，射手乙比甲的盲目性大0.8244bit .;四、信息熵的性质 分析本征信息熵加权函数 （1）非负性;（3）极值性 （4）平均性;五、信息量 信息量I =熵的减少;薛定谔把负熵的概念带进生物学。 按照熵的增加原理，演化总是朝着无序、混乱和衰退方向。为什么生物能避免死亡？靠吃、喝、呼吸，……新陈代谢。一个有机体在不断地增加它的熵——在增加正熵——并接近最大熵值的危险状态，那就是死亡。要摆脱死亡，活着，唯一的办法是从环境不断地吸取负熵，有机体是靠负熵为生的。意思：有机体吸取负熵去抵消它在生活中产生的熵增加，从而自身稳定在低熵的水平。 关于负熵：1987年薛定谔100周年诞辰，围绕他的负熵又展开了激烈的争论 熵不仅向着无组织性滑去，在某些条件下熵本身