pdf全文下载基于最大熵模型的组块分析.pdfVIP

维普资讯 第 26卷 第 12期 计 算 机 学 报 Vol_26 No．12 2003年 12月 CHINESEJoURNAL oFCoMPUTERS Dec．2003 基于最大熵模型的组块分析 李素建 刘 群 杨志峰 (北京大学计算语 言学研 究所 北京 100871) 摘 要 采用最大熵模型实现 中文组块分析 的任务 ．首先 明确 了中文组块 的定义 ，并且列出了模 型中所有 的组块 类型和组块标注符号．组块划分和识别 的过程可 以转化为对 于每一个词语赋予一个 组块标注符号的过程 ，我们可 以把它作为一个分类 问题根据最大熵模型来解决．最大熵模 型的关键是如何选取有效的特征 ，文 中给 出了相关 的 特征选择过程和算法．最后给 出了系统实现和实验结果 ． 关键词 组块分析 ；语法分析 ；最大熵原理 ；浅层分析 中圈法分类号 TP391 Chunk Parsingwith M aximum EntropyPrinciple LISu—Jian LIU Qun YANG Zhi—Feng (InstituteofComputationalLinguistics，PekingUniversity，Beijing100871) Abstract ThispaperproposestouseM aximum Entropy (M E)modeltoconductChinesechunk parsing．FirstwedefineChinesechunksandlistallchunk categoriesandtagsusedinthemode1． Thustheprocessofchunking can beregardedasa classification problem which trainsfrom the corpuswith chunk tagsandPOS tags．ThefocusofM E modelishow to selectusefulfeatures． Then，theprocedureandalgorithmsoffeatureselectioniSintroduced．Atlastwetestthemodel， andexperimentalresultsaregiven． Keywords chunkparsing；syntacticparsing；maximum entropyprinciple；partialparsing Conll一2000把它作 为共 享任务提 出[1]．Steven[2总 1 引 言 结 了英语 中的各种基本组块 (名词组块 、形容词组 块 、动词组块等)．而 目前对于 中文组块 的研究主要 句法分析是 自然语言处理 中的重点和难点 ，虽 侧重于最长名词短语 、基本名词短语等 的研究[3]， 然经过几十年 的研究和发展 ，仍是现在 的一个瓶颈 系统 的汉语组块及其划分 的研究还很少． 问题．因此 目前通常采用 “分而治之”的原则 ，降低完 在 自然语言处理 中有不少统计建模 的例子 ，由 全句法分析的难度 ，进行部分 的句法分析 ，也称作组 于最大熵模型的简洁 、通用和易于移植 ，目前在对英 块分析 ．它是和完全句法分析相对的．完全句法分析 语的处理中经常采用该技术口q]