利用R值来对汉语中的固定搭配进行抽取.docVIP

 利用 R 值来对汉语中的固定搭配进行抽取 郎需超，王小捷** （北京邮电大学计算机学院，北京 100876） 5 10 15 20 25 30 35 40 摘要：传统的对搭配的研究主要集中在对搭配的定义及搭配的抽取的研究，即研究“什么是 搭配”，利用传统的抽取搭配方法抽取出的搭配数目往往非常大，而在语言学习、词典编纂 等某些实际应用中，常常只需要某一些“特殊的”搭配即可。本文通过对已有搭配进行分析， 关注那些表示意义唯一的搭配，定义了能够唯一的表示一种语义的搭配是“重要搭配”，并 通过对其可替换性的考察，提出利用 R 值来反映其搭配的重要程度，然后对此方法进行实验， 利用 R 值对搭配进行重要性排序，并通过人工标注的方法对实验结果加以评估，验证了此方 法的可行性。 关键词：自然语言处理；搭配的重要性；R 值；统计量；可替换性；搭配抽取 中图分类号：TP311 Using R-Value for Chinese Collocation Extraction Lang Xuchao, Wang Xiaojie (School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: The tradational collocation reaserch mainly focus on the definition of collocation and its extract method, in other words, the research to explain what is collocation. Usually the number of collocation extracted from corpus by traditional method is very large. And in some real application such as lexicography, language leaning etc, generally, a small amout of special collocation is sufficient enough to meet our requirement. Based on the analysis of standard collocation, we pay attention to the collocation that own only one meaning, and proposed an idea that the collocation which is unique to descripe an event or a status is a imporatant collocation.Meanwhile, after analysing the replaceability of each word, we defined a new statistic, R-value, to measure the collocations value of importance.Then we used this statistic in a experiment, ranked each collocation by its R-value. After that, we evalued the results by artificially labeled method, and verified the feasibility of this R-value approach. Keywords: NLP; collocation importance; R-Value; statistic; replaceability; collocation extracted 0 引言 传统上将习惯上一起出现的词语称为搭配。搭配是人类语言的一个重要的组成部分。比 如，在英语中，人们习惯上说”strong wind ”和”heavy rain”，而不是”heavy wind”和” strong rain”，这些习惯上的用法对初学一门外语的人或对小学生而言，通常要花费很大的 精力和时间来专门学习，以组合出正确的词语及习惯的表达。搭配的这种性质说明了以下三 点[1]，一、搭配在语言学习中占有至关重要的地位，二、搭配对表达的流畅起关键作用，三、 搭配的使用影响着人们对句子的理解。在自然语言处理的任务中，搭配也具有很重要的地位， 如在语法树优化、语义相似度计算、语义消歧[2]、关联词发现、文本对齐、机器翻译、词汇