一种体现长距离依赖关系的语言模型.docVIP

一种体现长距离依赖关系的语言模型 　　【摘 要】基于N-gram的语言模型广泛应用于语音识别、机器翻译等众多自然语言处理相关领域，捕获的主要是词之间的局部依赖关系，但其本身存在一定的局限性。依存句法树能够反映出句子中各成分之间的语义修饰关系，显式地对词之间的长距离搭配关系进行建模。本文利用最大熵方法整合句子的局部依赖关系和长距离搭配关系，构建一种包含长距离依赖关系的语言模型。 　　【关键词】语言模型；长距离依赖；依存句法树；最大熵方法 　　【Abstract】The N-gram language model which can capture local dependency relationship between words， is widely used in speech recognition， machine translation and some other fields of nature language process， but there is still the limitation in capturing long distance relations. A dependency syntax tree can reflect semantic relation between the components of a sentence which means it can model the long distance collocations explicitly. Based on the max entropy method， the paper constructs a new language model which can capture the long distance dependency relation between words. 　　【Key words】Language model；Long distance dependency；Dependency syntax tree；Max entropy method 　　0 引言 　　统计语言模型可以分为生成模型和判别模型两大类：N-gram语言模型是生成模型的典型代表，为了直接估计一个句子的概率，它将句子的生成过程假设为一个马尔可夫过程。即假定当前词的出现概率是由该词前面的N-1个单词所决定的，前N-1个词对当前词的转移概率可以采用极大似然估计来获得，基于这些转移概率，利用链式法则就可以直接估计一个句子的概率。最大熵模型[1]是判别模型的代表，基本假设是：在用有限知识预测未知假设时，应该选取符合这些知识条件下具有最大熵的概率分布作为预测模型，它将统计语言问题看作为一个求解受限概率分布问题，能够较好地包容各种约束信息。 　　现有语言模型虽然在很多应用领域都取得了比较成功的应用，但是还是存在着一些不足。主要表现为：只能建模短距离的词之间的转移关系，无法体现长距离的词之间的依赖关系，描述能力较差，不能很好的反映真实的概率分布。 　　目前对语言模型的改进主要集中在以下几个方面： 　　（1）在现有N-gram的基础上，建立大规模高阶的语言模型[2-3]，试图从一定程度上体现长距离依赖关系，但取得的效果并不明显。随着训练语料的不断增加，模型的规模会变得非常庞大，数据稀疏问题会更加严重。 　　（2）利用浅层语法、语义信息的语言模型。如基于词类的语言模型[4]、基于Trigger的语言模型[5]、Skipping语言模型[6]、基于神经网络的语言模型[7-8]等。 　　（3）基于语言结构的语言模型，这类模型从分析句子语法、语义结构入手构建语言模型，它们更多地利用了语言的结构信息，如结构语言模型[9-10]、基于自上而下句法分析器的语言模型[11]、无监督学习的依存结构模型[12]等。 　　1 相关工作 　　语言中长距相依的现象非常普遍，某些词或词类对在句子中往往搭配出现，它们是具有一定的内聚性、能够结合在一起承担某种句法功能的词或词性标记的序列，从而形成一个比较固定的框架结构，这些词或词类对就可能会产生长距离依存现象；同时，句子的不同成分，如主语、谓语、状语、宾语、补语的核心词之间，也存在着一定的相依关系，但它们通常在句子中并不是相邻出现的，而是相距一定的距离内。语言模型的长距相依问题己经成为影响语言模型性能的重要问题和瓶颈。 　　1.1 基于数据聚类的语言模型 　　IBM的Brown等人提出了互信息语言模型，该模型使用词类的转移概率来替代词的转移概率，与基于词的N元语法模型相比较，基于类的语言模型参数小，对未知事件的预测较优，使得模型的鲁棒性更强。但是降低了模型对己知事件的区分能力。所以在实际系