中英句子对齐双语语料库建设——技术报告.docVIP

“中英句子对齐双语语料库建设”技术报告 中科院自动化研究所 模式识别国家重点实验室 北京100080 研究目标和内容 本课题的研究目标是：对中英文篇章对齐的双语文本进行段落对齐、句子对齐加工，建立一个大规模具有统一标准和规范的、多领域、多体裁、句子级对齐的双语语言信息和知识库。 具体研究内容包括： 借助互联网等其他媒体搜集中英文篇章级对齐的双语文本，并进行必要的预处理。 参照都柏林核元数据元素集制订了双语语料文本标注规范，在973标准讨论会上进行讨论通过。 大规模文本句子对齐方法：面向多领域多体裁，采用基于双语词典的句子对齐方法进行了文本对齐，并对如何提高对齐精度做了进一步的研究和探讨。 自动评价：对双语文本句子对齐结果实现自动评价。 目前完成的句子对齐双语语料库可以有以下几方面的应用： 作为重要的语言资源，为基于统计的各种双语语言建模、分析提供必要的训练数据。 可以为机器翻译、跨语言信息检索等领域抽取双语词对、短语对提供真实文本标注素材。 相关研究现状 国内外很多研究机构都致力于双语语料库的建设，并利用这些语料库进行广泛的研究。加拿大的议会会议录（Canadian Hansards）是非常著名的英法双语语料库，许多最初的基于双语语料库的研究都是在该语料库基础上进行的[1][2]。有关汉外双语语料库建设及其研究，香港科技大学收集和加工了香港立法委员会的会议记录，形成汉英双语语料库[3]。此外，北京大学、东北大学、哈尔滨工业大学的研究人员也建立了一定规模的汉英双语语料库[7][8][9]。但目前汉外双语语料库规模比较小，加工规范也不统一，从而影响了双语语料库知识获取的研究。 实现各个层次的对齐是双语语料库建设的一项重要内容。本文主要讨论汉英双语句子级对齐技术。句子对齐方法基本可以分为三类： 基于长度的方法：最初由Brown[1]和Gale[2]提出，其依据是两种语言译文的长度满足一定比例关系。他们在英法双语的加拿大议会会议录上取得了较好的对齐效果；清华大学和哈尔滨工业大学的研究人员分别将基于长度的方法应用于Microsoft NT 3.5 Server安装指南和法律文献的汉英双语句子对齐，获得的试验结果。 基于词汇的方法：Kay[4]和Chen[5]则分别根据双语单词的分布信息和词汇翻译模型进行了英德和英法双语句子对齐。文献[8]直接利用双语词典对大学英语教材做了句子对齐，也取得了令人满意的效果。 混合方法：基于长度的对齐方法模型简单，独立于语言知识和其他外部资源，但鲁棒性不好，容易造成错误蔓延。基于词汇的对齐方法相对可靠精确，但计算相当复杂。研究人员试图将这两种方法结合起来进行句子对齐。香港大学Wu[3]通过创建特殊词表来对基于长度方法进行了改进，并对在香港立法委员会会议记录上做了对齐试验，取得较好结果。 以上对齐研究大都是围绕单一领域或者某一文献、手册的双语文本进行，本课题工作面向多领域多体裁，采用基于双语词典的句子对齐方法进行了文本对齐，并对如何提高对齐精度做了进一步的研究和探讨。该方法不同于Kay[4]和Chen[5]的利用译词分布相关性和词汇翻译模型的方法，与文献[8]的对齐方法在评价函数设计、双语词典资源整理上也存在不同之处。 句子级对齐双语文本标注规范 对于中文信息处理各个层面上所需要的语言资源，一套统一标准和规范xx为文件的唯一标识号；yy、zz表示文本的两种语言标题； # 为分隔符。 作者 AUTHOR xx/AUTHOR xx为原文的作者名字 主题词和关键字 SUBJECT xx/SUBJECT xx为对语料内容的主题描述 说明 DESCRIPTIONxx/DESCRIPTION xx是对语料资源内容的描述 资源类型 TYPE02020/TYPE 标识语料资源内容的特征和类型，第一位为创建者编号；第二位表示对齐粒度；第三、四位表示两种语言；第五位表示语体。 来源 SOURCExx/SOURCE 语料来源 创建者 CREATORxx/CREATOR 语料加工的主要责任者 出版者 PUBLISHERxx/PUBLISHER 使语料资源成为可获得状态的责任者名称 其他责任者 CONTRIBUTORxx/CONTRIBUTOR xx是除创建者以外，对语料加工做出贡献（包括搜集、翻译、校对等）的其他责任者。 权限 RIGHTSxx/RIGHTS 对语料资源的权限管理声明。 日期 DATEyyyy-mm-dd/DATE 语料资源的创建日期。 格式 FORMATxx/FORMAT 语料资源的媒体类型。 资源标识符 IDENTIFIERxx/IDENTIFIER xx是为获得该资源提供的一个标识符 地区 AREAxx/AREA 原始语料地域 文件体信息 文件体信息包括双语篇章级结构、段