句法统计机器翻译的一些问题分析.docVIP

 句法统计机器翻译的一些问题分析# 朱靖波，肖桐* （东北大学信息学院，沈阳 110819） 5 10 15 20 25 30 35 摘要：本文针对目前句法统计翻译的一些基本问题进行分析，并重点讨论了句法对齐、句法 树重构、基于 tree-parsing 的解码和基于句法的语言模型等问题。在此基础上，文本提出了 若干解决方案，并给出了初步的实验结果。最后，文本还对句法统计机器翻译中若干潜在 的研究方向进行了展望。 关键词：自然语言处理；机器翻译；句法对齐；翻译规则抽取；解码 中图分类号：TP3-05 Some Issues of Syntax-based Statistical Machine Translation Zhu Jingbo1, Xiao Tong2 (1. College of Information Science and Engineering, Northeastern University, Shenyang, 110819; 2. College of Information Science and Engineering, Northeastern University, Shenyang 110819) Abstract: In this paper we focus on analyzing issues in syntax-based statistical machine translation. In particular, we give an in-depth discussion on several interesting topics, including: syntactic alignment, tree restructuring, tree-parsing-based decoding and syntactic language modeling. Moreover, we present our solutions to these issues as well as some preliminary results. Finally, we conclude the paper with an outlook of future directions. Key words: Natural Language Processing; Machine Translation; Syntactic Alignment; Translation Rule Extraction; Decoding 0 引言 机器翻译研究的开始与计算机诞生几乎在同一时期，是计算机的最早实际应用之一，目 的是充分利用计算机软件系统实现将一种语言（如英文）的文本/语音转换成为另外一种语 言（如中文）。实现不同语言的自动翻译是人工智能的梦想之一，至今具有六十多年的研究 历史。在 90 年代之前，机器翻译领域主要是采用传统基于规则的方法，包括后来产生一些 基于实例、基于记忆、基于模板等机器翻译技术。但是基于规则的方法存在一些局限性，如 规则“跷跷板”问题、规则人工构建代价很高等问题。随着计算机的软硬件快速发展，基于 统计的机器翻译理论和技术逐渐成为了该领域的研究热点。统计机器翻译（ Statistical Machine Translation，SMT）指基于统计模型的机器翻译方法。由于它具有开发周期短和系 统健壮性强等特点，已经被广泛地应用于在线翻译和受限领域的机器辅助翻译中，也逐渐受 到越来越多学术界和工业界的关注。 与传统基于规则的机器翻译不同，统计机器翻译的基本思想是给每个潜在的翻译结果都 赋予一定的概率，并选择概率最大的翻译作为最终的翻译结果。统计机器翻译模型基本框架 [1] 基金项目：高等学校博士学科点专项科研基金资助课题（20100042110031） 作者简介：朱靖波(1973)，男，教授，博导，自然语言处理. E-mail: zhujingbo@ -1- 40   图 1 统计机器翻译的基本模型框架  Figure 1. Basic model framework of statistical machine translation 给定源句子 f，传统生成模型的目的在于找到具有最大概率 p(e|f)的目标译文 e*。其中包 括两个子模型：1）语言模型 p(e)用于评价目标译文 e 的流畅度；2）翻译模型 p(f|e)用于评 45 价目标译文与源文的含义一致性程度。图 1 中显示的全局有哪些信誉好的足球投注网站（Global Search）也被称之为 解码过程（Decoding）。由于全局有哪些信誉好的足球投注网站过程计算复杂度是 NP 难问题[2]，因此在实际实现过 程中，统计机器翻译系统通常会利用