基于向量空间模型的多关键字检索技术.pdfVIP

维普资讯 第 15卷 第 3期 重庆职业技术学院学报 2006年 5月 Vo1．15 NO．3 JournalofChongqingVocationalTechnicalInstitute M ay．2006 基于向量空间模型的多关键字检索技术 彭喜化 ，黄 睿2 (1．西南大学信息学院，重庆 400716；2．重庆职业技术学院重庆 400712) 摘 要：根据HTML文档不同标签域的分布特征和对文档内容的代表能力不同，本文提出了一种改进的 向量模型：针时Web信息检索的特点．给出了一种多关键字查询向量的构建方法。最后通过文档向量与查询 向量之间的相关度对检索结果进行优化，提高查准率。 关键词 ：向量空间模型；多关键字；相关度 中图分类号：TP39 文献标识码：A 文章编号：1672—0067(2)【f)6)030151—03 1 引言 表示特征词Ti在文档 i中的重要程度，即权值。权值的计 随着 Intemet的极度膨胀，我们越来越依赖于各种 算方法主要运用tf_idf公式。目前存在多种tf-idf公式， 有哪些信誉好的足球投注网站引擎查找信息。传统信息检索的模型有布尔模型、 现给出一个常用的归一化公式h2 向量空间模型、概率模型等 ，其中向量空间模型以其实 tt]kxlog(N／dtk) r1、 、l，一 现简单、检索性能稳定而成为 目前应用最为广泛和有效 V∑印[tCkxlog(N／dfk)]‘ 的文本分类模型。但是当这一模型应用于Web检索环境 其中。tfik表示特征词Tk在文档 D．中出现的次数 中时，便表现出诸多不足。主要是因为传统向量空间模 (即特征词频率)，t越高，意味着特征词Tk对于文档Di 型对向量空间中的特征项同等对待，不考虑这些特征项 越重要； 表示含有特征词T 的文档数量 (即特征渊的 在文档中的位置及内在含义，导致这些特征项对文档内 文档频率)，dfk越高，意味着特征词Tk在衡量文档之 日『J相 容的代表能力与文档内容本身的同一性让人怀疑。为此 似性方面的作用越低；N=lDI，即全部文档的数量，分母 本文首先将结合Html文档结构特点对向量空间模型进 为归一化因子；idfk=log (N／dfk)为逆向文档频率，idfk越 行改进。 高，意味着特征词Tk对于文档的区别作用越大。如果一 接着针对 目前的有哪些信誉好的足球投注网站引擎在处理多关键字检索时没 个特征词仅出现在一个文档中，则idfk=log(N)；如果一个 有考虑各关键字的权重。而列出大量的无关有哪些信誉好的足球投注网站结果的 特征词出现在所有的文档中，则idfk=logl=0。 现状，提出了以核心关键字和分级权重为基础的查询向 众所周知．Web环境下的Html文本是一种半结构化 量构建方法 的文本，这种半结构化文本通过标签界定了多种不同类 最后本文详细叙述了基于相关度计算的多关键字向 型的区域．特征词出现在什么区域与其权重是密切相关 量空间检索过