检索可视化和检索评价.pptVIP

* * * * * * * * * * * * * RDF resource domain frame * * * Highwire: View Citation Map * 检索评价 信息检索评价的概念 研究历史 系统评价指标 用户评价指标 信息检索相关性模型 * 信息检索评价的概念 信息检索的基本问题是评价相关性 以二值表述的相关性不能反映文献相关的程度 一些文献提供的相关信息多一些，而另外一些提供的相关信息少一些，但不是无关 已经有一些研究按照相关性程度表述但是仅仅只有几个试验实际利用了不同的相关因素 * 信息检索评价的概念 在现代的大型数据库条件下，对一个检索提问响应的相关文献量动辄远远超过用户的实际需要 用户希望检索结果按照相关程度排序 系统设计人员和图书情报工作者也希望通过评价不同检索方法的效果，以揭示其区别 * 信息检索评价的类型 系统评价主要包括 功能评价，即评价一个系统是否完成了它所侧重的目标。 性能评价，主要指标是时间与空间的开销。（如：对数据检索系统的评价）响应时间越短，占用的空间越少，系统性能越好 信息检索系统还包括其他一些度量指标。 这是由于用户的查询请求本身具有模糊性，检出的结果不一定是精确答案。需要依照与查询的相关度，对结果集合的准确度进行评价。 * 信息检索评价的类型 检索性能评价 批处理模式 用户提交提问，并得到检索结果 产生检索结果集合的方法 交互模式 用户通过于系统一系列交互步骤提交信息需求 涉及的因素 用户因素 界面性能 系统的导引性能 过程的时间 * 检索评测基础 检索评测基础: 建立在测试参考集和一定的评价测度基础之上。 测试集由一个文档集、一组信息查询实例、对应于每个信息查询实例的一组相关文档（由专家提供）所组成。 ?检索策略的评价 对一个给定检索策略S，对每个信息查询实例，评测由S检出的结果集合与由专家提供的相关文档集之间的相似性，量化这一指标。 * 国内外检索评价历史 20世纪30年代，美国Bradford首先使用文献的主题相关概念(documents relevant to a subject) 20世纪50年代，美国Taube,Mooers,Perry和Luhn等首先实现了基于集合论和布尔代数的信息检索系统。当时对于相关性的假设是，检出的结果就是相关的，没有检出的就是不相关的。 稍后的相关性研究集中于非相关(non-relevance)。Taube等认为相关性主要受系统内在特征与操作影响，影响因素包括分类表、索引、词汇的语义以及语法描述、文献组织以及检索提问的分析与检索策略等。此时的问题是没有注意文献选择过程，即没有考虑人的因素。(系统观) 1958年科学信息国际会议(ICSI)开始相关性研究中考虑了人的因素。Vickery在会议上提出将相关性分为主题相关和用户相关两类。主题相关性定义为描述检索问题的主题词和描述文献的主题词之间的匹配关系(系统观)，用户相关性定义为用户检索相关信息的愿意程度(用户观) * 国内外检索评价历史 1959-1980，以Saracevic发表的关于相关性研究的阶段性综述为标志，出现了大型实证研究和系列理论研究 实证研究：1957和1962年开始的美国科学基金会(NSF)资助的Aslib Cranfield I和Cranfield II项目。 Cranfield I基于系统观，检索提问根据来源文献题目拟出，相关性判断由查询者将检索提问与文献号比对完成，不阅读文献 Cranfield II将实际检索提问提交给系统，提问者通过阅读检出的文摘判断相关性 Cranfield 的意义找到了影响相关性判断的多种因素，为后续得到研究提供了测试数据首次采用查全率和查准率进行检索系统评估，同时发现两者之间存在的类反比关系(inverse relationship)引发了相关性研究的论争，Cranfield的每个方面都收到批评和反驳，从而导致试验从实验室环境到自然真实的用户环境的转移 * 国内外检索评价历史 1967年Cuadra和Katter的研究 将相关性分为两类：一是用户兴趣主题与文献之间的关系，另一是系统输出和用户信息需求之间的关系 研究设计阶段列出五类38种可能影响相关判断的因素：文献类型(含主题和难易程度)、信息需求的陈述、判断者的经验背景和态度、判断条件(时间压力输出顺序文献量等)、表达方式 研究结论认为，影响相关判断有6个因素(变量)： 焦点变量(focusing variables)用户判断相关性的标准 界限变量(delimiting variables)对试验者施以不同的指导导致的结果 情景变量(situation variables)环境、时间、反馈等因素的影响 刺激材料变量(stimulus mat variable