基于平行语料库的双语术语抽取系统研究.docVIP

基于平行语料库的双语术语抽取系统研究 　　摘 要： 针对双语术语抽取系统在处理多种语言时大量耗费人力、财力、物力等的局限性问题，提出基于平行语料库的双语术语抽取方法，同时，分析此方法的不足，结合多种方法进行改善。在此基础上开发了一个双语术语抽取系统，并通过实验分析了相似度函数、语料规模以及改进后方法对术语抽取结果的影响，而且该系统已经作为商品化软件投入实际应用。 　　关键词： 平行语料库； 词对齐； 共现矩阵； 相似度函数； 双语术语抽取 　　中图分类号： TN911?34； TP391.7 文献标识码： A 文章编号： 1004?373X（2016）15?0108?04 　　Abstract： Since the bilingual terminology extraction system exists the limitation problems of consuming massive manpower， financial resources and material resources while treating with multilingual languages， the bilingual terminology extraction method based on parallel corpus is put forward. The shortcomings of this method are analyzed， and improved with a variety of methods. On the basis of the above， a bilingual terminology extraction system was developed. The similarity function， corpus scale， and the effect of the improved method on terminology extraction results are analyzed with the experiment. The extraction system was put into practical application as a commercial software. 　　Keywords： parallel corpus； word alignment； co?occurrence matrix； similarity function； bilingual terminology extraction 　　0 引 言 　　术语是人类智慧和知识的结晶，包含着丰富的信息，双语术语自动抽取任务早已引起学术界和工业界广泛的关注[1]。同时，随着全球化进程的推进，各国之间越来越迫切地要求知识和技术的交流，而术语作为知识最核心的载体，其相互翻译恰恰成为了各国间知识、技术交流的最大障碍之一[2]。所以，实现双语术语自动抽取，对于双语术语词典的构建和跨语言检索都有重要的意义。 　　本文介绍了用基于相似度函数的方法生成对齐词典的过程并分析其不足之处，融合了多种方法提高双语术语抽取的准确率，在此基础上开发了一个双语术语抽取系统并做了三方面的实验：不同的相似度函数对最后抽取结果的影响、不同的语料规模对最后抽取结果的影响以及改进方法对双语术语抽取准确率的影响。 　　1 基于相似度函数的对齐词典生成 　　1.1 词典生成的过程 　　对齐词典的生成以双语平行语料库为基础，采用相似度函数计算双语中不同词语之间的关联程度，把关联程度最强的词语作为对齐词典的词对[3?4]。整个过程主要分为语料预处理、语料编码、生成对齐矩阵和生成对齐词典四个步骤。 　　1.2 对齐词典存在的问题及其他对其方式尝试 　　仅仅用源语言中的每个词（包括抽取出来的候选术语）与目标语言的每个词（也包括候选术语）进行对齐，取得的效果并不理想，原因主要集中在以下几个方面：单语术语抽取并不能穷尽所有的术语词；很多中文多词术语对应的英文术语只有一个词；有些中文术语，在英文中根本就没有固定的翻译以及通过分析生成的对齐词典，中文术语与英文单词的对齐概率总比中文术语与英文多词术语的对齐概率要高[5?6]。 　　基于上述对齐词典存在的问题，为了让对齐的效果更好，本文对多种不同的对齐方法进行尝试，虽然最后的结果不够理想，不能达到实际应用的目标，但是为找出能够解决上述问题的方法做了铺垫。 　　基于窗口匹配和相似函数的方法：经过大量实验，但结果并不理想，原因包括：共现矩阵太大；处理时间增长；很多正确的但不满足条件的词没能被抽取出来。 　　迭代对齐法：该方法通过不断迭代，直到满足条件才停止。通过实验证明