最大熵方法在英文基本名词短语识别中的应用.pdfVIP

最大熵方法在英文基本名词短语识别中的应用 李彦，吕琳，刘玉树 北京理工大学信息科学技术学院计算机科学：[程系，北京 100081 e-mail：liyan2646@bit．edu．cn 摘要：应用最大熵模型进行英文基本名词短语的识别是一种新兴的短语识别算法。首先利用 训练语料和自定义的特征模板生成候选特征，继而利用计算特征增益的特征选取算法进行特征选 取。最后利用改进的迭代算法进行特征的参数估计，建立模型。目前实验重点为特征选取，给m初 步实验结果。 关键词：最大熵模型基本名词短语短语识别 Maximumfor BaseNounPhrase EntropyEnglish Recognition LI Yu—shu Yan，LVLin，LIU Scienceand Scienceand ofInformation DepartmentofComputerEngineering，School Institute 100081，China Technology，BeijingofTechnology，Beijing e-mail：liyan2646@bit．edu。cn Abstract：Itnovelto maximummodelin basenoun isvery apply entropy English phraserecognition．First, use andfeature to thecandidatefeatures．Andthen，a feature trainingcorpus templategenerate computinggains is tOselectfeatures，Inthe estimation iterative improvedscalingalgorithm algorithmapplied parameter stage，the are is ofthe isfeatureselection，and results adopted．Theemphasisexperiment experimentalgiven． Words：maximummodelbasenoun Key entropy phrasephraserecognition 1 引言 在自然语言信息处理领域，名词短语的正确识别和分析对机器翻译、信息检索、文本分 类以及句法分析都具有重要作用。本文讨论的是一种特殊的名词短语——基本名词短语 (BaseNP)的识别问题。关于BaseNP，在英语中被定义为“简单的，非嵌套的名词短语”。 它包括单个名词、没有任何修饰成分的名词短语、难以确定修饰关系的一串名词、并列名词 性成分、专有名词、时间、地点等，占语料中所有基本短语的60％左右(用Treebank语料做统 计)。 目前，对BaseNP的识别方法主要有：(1)基于规则的方法，依据规则获取方式的不同，又 可分为人二[书写语法规则的方法和机器学习自动获取语法规则的方法；(2)基于统计的方法， 1265 利用隐马尔可夫模型，把简单名词短语识别问题转化为类似词性标注的