基于《知网》词语相似度算法研究.pdfVIP

第 24卷 第 6期 中文信息学报 Vo1．24，No．6 2010年 11月 JOURNALOFCHINESE INFORMATION PROCESSING NOv．，2O10 文章编号 ：1003-0077(2010)06—0031-06 基于 《知网》的词语相似度算法研究 刘青磊 ，顾小丰 (电子科技大学 计算机科学与工程学院，四川 成都 611731) 摘 要 ：基于 《知网》的词语(句子)相似度计算通常是把义原(词语)之间的最优匹配做为运算 的基本单位的，最终 的整体相似度数值可 由每一部分的相似度值通过适 当的加权计算合成而来，这样的做法往往会造成一些匹配对的 信息重复和结构不合理 。针对这个问题 ，该文通过统计 出两个直接义原集合 间的共有信 息(共性)和差异信息(个 性)来计算集合的相似度 ，并把此方法引入到词语 (句子)的相似度计算 中去 。最终的实验 比对结果表 明该文所采 用的方法更为稳 定和有 效。 关键 词 ：《知 网》；词语相似度 ；句子相似度 ；共有信 g-；差异信 息 中图分类号 ：TP39I 文献标识码：A Studyon HowNet—BasedW ordSimilarityAlgorithm LIU Qinglei，GU Xiaofeng (DepartmentofComputerScienceandTeehnology，UniversityofElectronicScience andTechnologyofChina，Chengdu，Sichuan611731，China) Abstract：W ord(sentence)similaritycomputingbasedonthe “HowNet”usuallytreatstheoptimalmatchesbetween theprimitivesorwordsasthebasicunit，andtheultimateoutcomecanbethesum ofweightedcounts．However， thisapproachoftenresultsintheinformationduplication andsomeirrationalconstructions．Todealwith theseis— sues，thispaperproposetOcalculatethesimilarityofsetsbythestatisticsoncommon information (commonality) andthedifferentinformation(differences)betweenthetWOsetsofdirectprimitives．Moreover，thepaperintroduces thismeasureintothecalculationofsentencesimilarity．Thefinalexperimentalanalysisshowsthattheproposed methodiSmorestableandeffective． Keywords：HowNet；wordsimilarity；sentencesimilarity；common information；differentinformation 词汇语义相似度方面的研究。 1 引言 基于 《知网》的相似度计算方法通常是根据整体 相似度可 由部分相似度合成而来 的思想，通过寻找 在信息检索 、文本分类、信息抽取 、基于实例 的 两