中英句子对齐双语语料库建设——技术报告.pdfVIP

中英句子对齐双语语料库建设

——技术报告

“中英句子对齐双语语料库建设”技术报告

中科院自动化研究所

模式识别国家重点实验室

北京100080

1研究目标和内容

本课题的研究目标是：对中英文篇章对齐的双语文

本进行段落对齐、句子对齐加工，建立一个大规模具

有统一标准和规范的、多领域、多体裁、句子级对齐

的双语语言信息和知识库。

具体研究内容包括：

借助互联网等其他媒体搜集中英文篇章级

对齐的双语文本，并进行必要的预处理。

参照都柏林核元数据元素集制订了双语语

料文本标注规范，在973标准讨论会上进行讨论

通过。

大规模文本句子对齐方法：面向多领域多

体裁，采用基于双语词典的句子对齐方法进行了

文本对齐，并对如何提高对齐精度做了进一步的

研究和探讨。

自动评价：对双语文本句子对齐结果实现

自动评价。

目前完成的句子对齐双语语料库可以有以下几方

面的应用：

➢作为重要的语言资源，为基于统计的各种

双语语言建模、分析提供必要的训练数据。

➢可以为机器翻译、跨语言信息检索等领域

抽取双语词对、短语对提供真实文本标注素材。

2相关研究现状

国内外很多研究机构都致力于双语语料库的建设，

并利用这些语料库进行广泛的研究。加拿大的议会会

议录（CanadianHansards）是非常著名的英法双语

语料库，许多最初的基于双语语料库的研究都是在该

语料库基础上进行的[1][2]。有关汉外双语语料库建

设及其研究，香港科技大学收集和加工了香港立法委

员会的会议记录，形成汉英双语语料库[3]。此外，

北京大学、东北大学、哈尔滨工业大学的研究人员也

建立了一定规模的汉英双语语料库[7][8][9]。但目前

汉外双语语料库规模比较小，加工规范也不统一，从

而影响了双语语料库知识获取的研究。

实现各个层次的对齐是双语语料库建设的一项重

要内容。本文主要讨论汉英双语句子级对齐技术。句

子对齐方法基本可以分为三类：

基于长度的方法：最初由Brown[1]和

Gale[2]提出，其依据是两种语言译文的长度满足

一定比例关系。他们在英法双语的加拿大议会会议

录上取得了较好的对齐效果；清华大学和哈尔滨工

业大学的研究人员分别将基于长度的方法应用于

MicrosoftNT3.5Server安装指南和法律文献的汉

英双语句子对齐，获得的试验结果。

基于词汇的方法：Kay[4]和Chen[5]则分别

根据双语单词的分布信息和词汇翻译模型进行了

英德和英法双语句子对齐。文献[8]直接利用双语

词典对大学英语教材做了句子对齐，也取得了令人

满意的效果。

混合方法：基于长度的对齐方法模型简单，

独立于语言知识和其他外部资源，但鲁棒性不好，

容易造成错误蔓延。基于词汇的对齐方法相对可靠

精确，但计算相当复杂。研究人员试图将这两种方

法结合起来进行句子对齐。香港大学Wu[3]通过创

建特殊词表来对基于长度方法进行了改进，并对在

香港立法委员会会议记录上做了对齐试验，取得较

好结果。

以上对齐研究大都是围绕单一领域或者某一文献、

手册的双语文本进行，本课题工作面向多领域多体

裁，采用基于双语词典的句子对齐方法进行了文本对

齐，并对如何提高对齐精度做了进一步的研究和探

讨。该方法不同于Kay[4]和Chen[5]的利用译词分布

相关性和词汇翻译模型的方法，与文献[8]的对齐方

法在评价函数设计、双语词典资源整理上也存在不同

之处。

3句子级对齐双语文本标注规范

对于中文信息处理各个层面上所需要的语言资

源，必须有一套统一标准和规范才能实现资源共享。

为更好的与国际接轨，我们参照都柏林核元数据元素

集，制订了《双语语料库标注规范》，并在973标准

讨论会上通过专家讨论、审核。主要包括以下两部分