第2章教育信息熵.pptVIP

第二章 教育信息熵;第一节 熵的概述 第二节 相对熵与冗余熵 第三节 测试问题的信息量 第四节 CAI课件中的信息熵 第五节 教学过程的信息量分析;第一节 熵的概述;例1：现有A、B、C、D、E五名学生，以他们作为候选人，需从中选出一名学生作为学生代表。 情况一：设定每一名学生被选中的可能性一样（A当选的概率是20%）； 情况二：设定A 当选的概率是90%； 情况三：A一定会当选（ A 当选的概率是100%）。 选拔的结果：A 被选中。; 信源输出的消息可以看作是随机事件（数学上对随机事件发生可能性的大小以概率来度量），它的不确定度可根据其出现的概率来衡量： 概率大，出现机会多，不确定程度小 概率小，出现机会少，不确定程度大;例2：某人到剧院找朋友，剧院有20行30列座位，朋友的位置有600种可能。消息A说：“他在第6行”，消息B说：“他在第9列”，合成消息C=AB说：他在第6行第9列“。 由概率论知，P（AB）=P（A）×P（B）。但经验告诉人们，消息C的信息量应该是消息A的信息量与消息B的信息量之和。 一般地若A和B为两个相互独立的消息，C代表A与B同时发生的合成消息，C=AB，则： I（AB）=I（A）+I（B） 当A、B不是独立事件时， I（AB）I（A）+I（B）; 信息量是概率的单调减函数I= g（1/P) ， 同时信息量又具有可加性I（AB）=I（A）+I（B） 。 那么信息量可以用什么函数表示？; 设某一事件产生的概率为p，则信息量可定义为： I =loga(1/P)=-logaP 其中，a＞1 a＝2时，单位为bit（比特），字位 a＝e时，单位为nat（奈特），自然对数ln a＝10时，单位为dit（迪特）。常用对数lg 通常情况下，我们选择以2为底数，此时信息量的单位为比特。;例3：投掷硬币，消息A代表麦穗朝下，发生概率为P(A)=0.5， 求其信息量。 ;二、信息熵;例6：还是工会发水果的例子。计算其信息熵： 消息集合X=（优质品，合格品，次品）， 各消息可能出现的概率为：（0.4, 0.55, 0.05） 其信息熵为： H=-（0.4log20.4+0.55log20.55+0.05log20.05）=1.22（bit）;三、熵的意义;?例9：设概率系统A、B的分布为： pA=(0.5,0.5,0,0,0) pB=(0.5,0.125,0.125,0.125,0.125)???????? ???????请比较它们哪一个系统的不确定程度大。??????;四、信息熵的基本性质;2、对称性 某系统中n个事件的概率分布为 :(p1,p2……,pn)?????? ?????当我们对事件位置的顺序进行任意的置换后，得到新的概率分布:(p1’,p2’……,pn’)???????? ??????有以下关系成立：?????? H(p1,p2……,pn)=H(p1’,p2’……,pn’) ?????它表示，系统中，事件的顺序虽不同，只要总的概率分布相同，系统的熵H是不变的，即系统的熵与事件的顺序无关。;3、渐化性 设概率为pn(=q+r)的事件可分解为概率分别为q和r的两个事件，则有 ?????H(p1,p2…,pn-1,q,r)=H(p1,p2…,pn-1,q+r)+(q+r)H(q/(q+r),r/(q+r)) ?????;4、展开性 设某一系统的概率分布为：(p1,p2……,pn)????????? ???该系统的信息熵具有 H(p1,p2……,pn)?=H(p1,p2……,pn,0)???这样的展开性质。在此基础上，进一步展开，有 H(p1,p2……,pn)?=H(p1,p2……,pn,0,…0)????????? ;5、确定性 概率系统中，任一事件产生的概率为1，则其他事件产生的概率为0，这是一种确定的系统。对于这样的系统，有 H(1,0)=H(0,1)=H(1,0…,0)=H(0,0…,1…0)=0;第二节 相对熵与冗余度;根据上表，可以计算出熵H＝4.065bit。 由于每种字符出现的概率不同，使得实际使用英语的熵H减少，即HHmax;联合国五种工作语言文字的信息熵比较：??????? 法文??????????? 3.98 bit??????? 西班牙文????? 4.01 bit?????