面向短语的词语对齐方法.PDFVIP

面向短语的词语对齐方法 田亮 黄辉 周沁 澳门大学 自然语言处理与中葡机器翻译实验室 澳门 E-mail ：{ma96572, derekfw, lidiasc}@umac.mo 摘 要：自动词语对齐技术在统计机器翻译领域中起了很大的作用。然而，GIZA++训练得出的对齐结果并 不是很令人满意。本文提出了一种基于最大匹配法（MMM)和 GIZA++的词语对齐方法。首先，我们使用 了最大匹配法分别把平行的英文和中文句子划分成单词和短语，然后通过词典和 GIZA++的共同限制来产 生对齐结果。实验表明，尤其是当平行句子中包含短语的时候，我们提出的对齐方法得出的对齐结果要比 GIZA++产生的结果好的多。 关键字 ：自动词语对齐、统计机器翻译、最大匹配法、词典、GIZA++ Phrase Oriented Word Alignment Method Liang Tian Fai Wong Sam Chao Natural Language Processing Portuguese-Chinese Machine Translation Lab, University of Macau, Macau E-mail ：{ ma96572, derekfw, lidiasc}@umac.mo Abstract: Automatic word alignment plays a very important role in statistical machine translation research area. However, the alignment result generated by GIZA++ is not satisfied . In this paper, an alignment method based on Maximum Matching Method (MMM) and GIZA++ is proposed . Firstly, the words and phrases of parallel English and Chinese sentences are detected based on Maximum Matching Method (MMM), and then candidate alignment results are gotten by the constraint of both a dictionary and GIZA++ result. Empirical study demonstrates that the proposed method gives a better alignment result than that of the GIZA++, especially for parallel sentences that have phras es. Keywords: Automatic word alignment, statistical machine translation, maximum matching method, dictionary, GIZA++ 1 引言 词语对齐是自然语言处理领域的一个基本的问题，许多基于双语语料库的应用（如统计 机器翻译（SMT ）、基于实例的机器翻译（EBMT ）、词义消歧（WSD ）、词典编撰等）都需 要词汇级别的对齐。一般来讲，对齐有篇章(section)、段落(paragraph)、句子(sentence)、 短语(phrase)、词语(word)等不同级别的对齐，其目的就是从双语互译的文本中找出互译的 片段[邓丹，2004]。其中篇章、段落、句子的对齐技术主要用于语料库的整理，而短语和词 语对齐，就是要找出相互翻译的文本中对应的词与词、词与短语、短语和短语之间的相互翻 译对。现今的基于短语的统计机器翻译系统中，很大一部分程度依赖于词语对齐（word alignment ）[Och et al.，2000 ；Yarowsky et al.，2000]，词语对齐对统计机器翻译中的短语抽 取起到了很大的作用。现在使用最多的词语对齐方法就是使