文本检索中若干题研究.pdfVIP

文本检索中若干问题研究 摘要 信息检索技术就是从信息的集合中识别和获取信息的技术，这种 技术对人们的学习和科研有着重大意义，尤其是在互联网广泛应用的 今天，信息数量激增，信息检索技术已经成为人们有效地开发和利用 各种信息资源，更广泛、更快捷、更全面地吸收和获取信息的一条重 要途径。本文的研究主要涉及文本检索中的文档处理、文本分类、查 询优化等相关技术，主要成果包括： 1．文本分类中的特征选择 本文对常用的互信息函数进行了改进，引入了绝对可信度、相对 可信度和综合可信度的概念，提出了基于互信息可信度的特征选择方 法，该方法不仅考虑了某个词与某类的相关程度，还考虑了该词与各 个类之间相关程度的差别，也就是与类别间互信息最大值的可信度， 实验数据表明，相对于基本的互信息函数，基于互信息可信度的特征 选择算法能够有效提高分类的准确率、召回率和Fl值。此外，本文 还提出对几种常规的评估函数进行归一化，或者基于这些常规评估函 数进行局部特征选择，实验数据表明，归一化的特征选择和局部特征 选择都或多或少地提高了系统的分类准确率。 2．多类判别问题 对于多类别文本的判别问题，通常需要对每个类别确定阂值，当 文本与某类的相似度在该类的闽值之上，就将文本归于该类中。本文 在多类判别问题的阈值确定方面进行了研究，提出了评估指标最大化 闽值确定法，对任’一类别，以最大化该类的分类评估值为准则，寻找 该类的闽值。实验结果表明，该方法能够将部分多类样本正确分类， 但足还需要进一步的研究。 3．查询优化 本文针对已有的带有衰减因子的词共现模型，提出了基于向量距 离的改进互信息的查询扩展方法，将检索词在文档空问中的距离引入 到互信息计算中，实验数据表明该算法能够有效提高信息检索系统的 性能，此外，本文提出了可变权值的伪反馈算法，利用初次检索结果 中前列文档与查洵的相似度对胁公式进行修改，实验数据证明该方 法能够取得较好的反馈效果。 4．对文本图像的识别处理 本文研究了传统OCR技术中的相关内容，对经典滴水算法进行了 改进，提出了一种惯性大水滴滴水算法，增大水滴的尺寸，并且使水 滴具有了惯性，当它遇到连笔字符或者字符表面的凹槽时，不会像传 统滴水算法那样盲目选择正下方作为滴水方向，而是考虑水滴的先前 方向以及待选择的切分方向与水滴自身尺寸间的关系。以手写数字为 例进行的实验表明，该算法能够有效克服传统滴水算法进行字符切分 时由于连笔或笔画边缘毛刺可能带来的误差，提高了算法的切分正确 率： 关键词：信息检索文本图像滴水算法文本分类特征选择查询 优化查询扩展相关反馈互信息 PRoBLEMS RSEARCHoNSEVERAL INTEXTRETRJE、後L InforIllationRe仃ieval at a11d tecbnology(IR)aimsrecognizing infornlation疗Dmmesetof a11 info肌ation，and acquiring playsimporfallt r01einour andsciemific in Intemetis today，the study rcs砌．Especially moreandmore ofinfb衄ationincreases applied widely’and也equantity Retrieval hasbecomeanefficient sharply．In硒mation