人工智能教学资料 实验课讨论会3.pptVIP

Maximum Entropy Modeling 最大熵理论: 一、熵:熵是描述事物无序性的参数，熵越大则无序。 熵越大，事件越不确定。熵等于0，事件是确定的。 二、熵的性质 1.当可能状态的数量有限，若所有状态发生的概率相等时，熵取得最大值。（不证明了） 抛硬币：p（head）=0.5，p（tail）=0.5H（p）=-0.5log2（0.5）+（-0.5log2（0.5））=1 熵值最大，正反面的概率相等，事件最不确定。 Maximum Entropy Modeling “学习”这个词可能是动词，也可能是名词。可以被标为主语、谓语、宾语、定语……令x1表示“学习”被标为名词，?x2表示“学习”被标为动词。 令y1表示“学习”被标为主语，?y2表示被标为谓语，y3表示宾语，?y4表示定语。 问题是：在x条件下，y发生的概率？ 首先满足下面的约束：  Maximum Entropy Modeling 如果没有其他的知识，我们有： p(x1)=p(x2)=0.5 p(y1)=p(y2)=p(y3)=p(y4)=0.25 但是在实际情况中，“学习”被标为定语的可能性很小，只有0.05。我们引入这个新的知识：p(y4)=0.05，在满足了这个约束的情况下，其他的事件我们尽可能的让他们符合自然，符合均匀分布： p(x1)=p(x2)=0.5 p(y1)=p(y2)=p(y3)=0.95/3 Maximum Entropy Modeling 已经有了两个知识了，那么其他的我们尽可能的要让他们不受约束，不受影响，分布的均匀一些。现在应该怎么让他们符合尽可能的均匀分布呢？ 其实就是使熵尽可能的大就行了。 为此，我们引出最大熵模型。 Maximum Entropy Modeling 实际问题中，由于条件x和结果y取值比较多样化，为模型表示方便起见，通常我们将条件x和结果y表示为一些二制特征。 现在，我们有N个样本(xl,yl), (x2, y2) . . . . . (XN, YN)， 在训练样本中，定义概率分布： (x,y)在样本中发生的次数 对于一个特征(x0,y0),定义特征函数： Maximum Entropy Modeling 特征函数在样本中的期望值为： 我们要建立的关于特征函数f 模型，它的期望值： 令此模型满足： Maximum Entropy Modeling 在数学上，对条件分布p(y|x)的均匀程度的评估，由条件熵来给出： 我们的目的是，在满足给定的约束下，使模型的概率分布更加均匀，则应该令上面的熵最大即可:(数学最优化问题) 且要满足约束： 1. 2. Maximum Entropy Modeling 引入拉格朗日乘数，得到下面的模型表达式： 解得： 其中： 这里除了参数外，其它都已知。 可以用IIS算法来求参数：