潜在语义索引中特征优化技术研究.pdfVIP

潜在语义索引中特征优化技术的研究 郑伟，季铎，蔡东风 沈阳航空工业学院知识工程中心，辽宁沈阳110034 E·mail：sxzhengwei(劢ahoo．com．cn 摘要：潜在语义索引被广泛应用于信息检索、文奉分类、自动问答系统等领域中。潜在语义索引是一种 降维方法，它把共现特征映射到同一维空间上，而非共现特征映射到不同的空问上。在潜在语义索引的语 义空间中，共现特征通过文档内部以及文档之间的特征传递关系获得。本文认为这种特征传递关系会引入 一些不存在的共现特征，从而降低潜在语义索引的性能，应该对这种特征传递关系进行一些选择，削除不 存在的共现特征信息。本文采用文档频率对文档集合进行特征选择，用Complete·Link聚类算法在二个公 开语料上进行三个实验，实验结果显示，保留文档频度的10％一15％时，其Fl值分别提高了6．5770％， 3．3614％。 1．9928％_jffl 关键词：潜在语义索引：共现特征；奇异值分解：特征选择 TechnoI i nLatent ResearchOnFeaturei mi ze ogy Opt Semanti C I ndexi ng ZHENG Wei，JIDuo，CAI Dong—feng ofAeronautical Institute (KnowledgeEngineeringCenter,Shenyang Engineering， 110034) Shenyang，Liaoning E-mail：sxzheng_wei@yahoo．cDm．cn been tO asinformation Abstract：LatentSemantic fields，such retrieval，text Indexing(LSI)hadappliedmany automatic Wasa method．Term classification，and dimensionalityreducing questionanswering，etc．LSI CO·occurrenceswere intothesame nontermco—occurrenceswere intodifferent projected space，but projected in co-occurltnceswereobtainedthetermtransferrelation semanticofLSI，term by single spaces．In spaces term betweendocumentsanddocum