一种融合词语位置特征的Lucene相似度评分算法.pdf

Computer Engineering and Applications 计算机工程与应用 2014 ，50（2） 129 一种融合词语位置特征的Lucene相似度评分算法 1 1，2 2 白培发 ，王成良 ，徐 玲 1 1 ，2 2 BAI Peifa , WANG Chengliang , XU Ling 1.重庆大学 计算机学院，重庆 400030 2.重庆大学 软件学院，重庆 400030 1.College of Computer Science, Chongqing University, Chongqing 400030, China 2.College of Software Engineering, Chongqing University, Chongqing 400030, China BAI Peifa, WANG Chengliang, XU Ling. Scoring algorithm of similarity based on terms ’position feature combina- tion for Lucene. Computer Engineering and Applications, 2014, 50（2）：129-132. Abstract ：The scoring algorithm of similarity is one of the core parts in Lucene. After the analysing and researching on the default scoring algorithm of Lucene similarity, this paper proposes an improved algorithm aimed at the deficiency of the Lucene ’s default algorithm which only considers the frequencies rather than the position of query terms occurrence. The improved algorithm combines the feature of the terms ’position relationship with Lucene ’s default scoring algorithm of similarity. The experiment on the TREC dataset shows that, the improved algorithm increases the value of evaluation metric MAP and P@n to a certain extent. Key words ：Lucene; similarity; full text search 摘 要：相似度评分算法是Lucene 引擎中的核心部分之一。对Lucene 内部的相似度评分算法进行研究分析后，针 对Lucene 只关心查询词出现的频率，而不关心它们所在的位置这一缺陷提出了一种改进的算法。改进的算法将词 语位置关系特征融合到Lucene 原始相似度评分算法中。在TREC 数据集上的实验结果表明：改进后的算法与 Lucene原始算法相比，在MAP 和P@n 指标上都有一定程度的提高。 关键词：Lucene；相似度；全文检索 文献标志码：A 中图分类号：TP311 doi ：10.3778/j.issn.1002-8331.1203-0223 1 引言 通过考虑文档中的平均词频来改进tf 公式和改进文档 Lucene[1] 作为Apache 软件基金会jakarta 项目组的 长度标准化因子使得系统对长短文档的“惩罚”更加合 一个子项目，是一个用Java 语言实现的开放源代码的全 理，以此改进Lucene 的相似度评分机制。文献[3]实现 文检索引擎工具包。Lucene 以其开源特性、优异的索引 了新的中文分析器，并将其应用于Lucene 中，来提高中 结构、高性能、可伸缩、跨平台、易使用等特点，被广