一种结合汉字信息的lpcfg汉语句法分析器.pdfVIP

一种结合汉字信息的LPCFG汉语句法分析器 徐文智 王小捷 北京邮电大学智能科学与技术中心 北京邮电大学智能科学与技术中心 earl808@ xjwang@ 摘要 本文提出了一种新的基于词汇化 PCFG 模型的句法分析模型。该方法能有效利用汉语中的字信息，在一定程 度上缓解了词汇化PCFG 模型中词信息的数据稀疏问题。本文进而探讨了几种能明显提高句法分析性能的重 要特征。同时我们还对原始树库中的标注进行一些必要的修改，以减少标注歧义。基于 TCT 树库所进行的 实验结果表明，字信息以及其他特征能带来句法分析性能的提升。 关键词 句法分析 词汇化的PCFG 模型 最大熵模型 字信息 TCT树库 1. 介绍 句法分析是自然语言处理中非常重要的基础任务。随着宾州中文树库的发布，很多不同 的中文句法分析模型被提出来。(Bikel,2000)采用中心驱动模型对汉语进行句法分析。 (Levy,2003) 详细分析了中文与英文语法上的差别所带来的困难。(Wang,2006) 利用 shift-reduce 决策的方法，极大的提高了句法分析的解码速度。这些研究大部分沿用英语分析 的方式，采用基于词的模型。 然而中文与英文存在重要的区别：英文表达的基础单位是词，而在中文中还存在着更小 的单位：字。由于汉语词切分的困难，也有很多研究直接探索基于字的模型。 (Luo,2003) 直 接对没有分词的句子进行句法分析，在句法分析中融入了分词的过程，但句法树的内部结构 中并没有利用字信息；(Zhao,2009)的依存分析完全舍弃了词的概念，是字与字间的依存树。 我们试图综合词信息与字信息来得到更为有效的句法分析性能。尽管分词的标准很难得 以统一，但是不同的分词标准大部分都是在一个短语的内部，对句法树的内部结构不会有太 大影响，所以我们还是选择词作为句法分析的基础单位。基于中心标记的句法分析中的词能 够极大的改进句法分析的性能(Collins,1999)，但是中心词的依赖数据非常稀疏。而在中文中， 我们注意到大量的意义相近的词共用同一个字，比如：科学家，历史学家…这些词在一定层 次上，意义是一样的。因此词的信息可以通过综合字的信息来一定程度上缓解词的数据稀疏 问题。 本文的句法分析实验所采用的语料是清华大学新开发的 TCT 树库。这个树库主要以二 叉树为主，加上少量的多叉树和单叉树，因此实验中，先把所有的子树转化为二叉树。句法 树的表示模型沿用(Collins,1999) 中的词汇化的 PCFG 模型以利用词与字的信息。和 (Charniak,2000)一样，利用最大熵模型来估计句法树的概率。最后的解码算法采用简单的 CYK 算法。 接下来的一节，详细介绍利用字信息的句法分析模型和特征选择，以及基于对语料的研 究，所做的一些改动。第三节是实验结果及讨论。第四节是本文的结论和展望。 2. 字信息句法分析器 2.1 模型介绍 词汇化的 PCFG 模型是我们工作的基础，我们的句法分析的表示方法和这个模型是一 致的，在这做个简单的介绍。 假设 P 是子树的标记，L …L 是中心节点左边的修饰成分，H 是中心成分，R …R 是 1 n 1 n 右边的修饰成分。则词汇化的PCFG 模型的推导规则可以写成： P( hw, ht) L( lw, lt)... L( lw, lt) H( h