rack开展研究的建议.pptVIP

TREC现况简介及针对Robust Track开展研究的建议 主要内容 TREC概况 TREC评测方法及标准 Robust Track简介 第一部分 TREC概况 历史 发展 目标 TREC的历史 TREC: Text REtrieval Conference，文本检索会议 通过所发展出的大型测试集，制定各种测试项目、测试 程序及测量准则，组合成一个评估检索系统的机制 组织者： NIST (National Institute of Standards and Technology) 美国国家标准及技术局 DARPA (Defense Advanced Research Projects Agency) 美国国防部高等研究计划局 会议： 1992~2003，12 TREC的运行过程 TREC由一个程序委员会(包括来自政府、工业界和学术界的代表)管理。 TREC以年度为周期运行。过程为： 确定任务(1~2): NIST选择某些任务，制定规范 参加者报名(2~3):参加者根据自己的兴趣选择任务（报名免费，大部分数据也免费） 参加者运行任务(3~9):参加者用自己的系统运行测试问题，给出结果并将它们提交给NIST 结果评估(10): NIST使用固定的评测软件和工具对结果进行评估，并将结果返回给参加者 大会交流(11，马里兰州的Gaithersburg)：论文交流 TREC目标 总目标：支持在信息检索领域的基础研究，提供对 大规模文本检索方法的评估办法 鼓励对基于大测试集合的信息检索方法的研究 提供一个可以用来交流研究思想的论坛，增进工业界、学术界和政府部门之间的互相了解； 示范信息检索理论在解决实际问题方面的重大进步，提高信息检索技术从理论走向商业应用的速度 为工业界和学术界提高评估技术的可用性，并开发新的更为适用的评估技术。 历届TREC参加单位数及任务 参加过TREC的部分单位 测试数据和测试软件 由LDC (Linguistic Data Consortium)等多家单位免费提供，但少数数据有所修改，而且必须签订协议 每年使用的数据可以是新的，也可以是上一年度已经使用过的 TREC使用的评估软件是开放的，任何组织和个人都可以用它对自己的系统进行评测 第二部分 TREC评测方法及标准 相关名词、评测方法 名词定义 Track： TREC的每个子任务。 A TREC workshop consists of a set tracks, areas of focus in which particular retrieval tasks are defined. 名词定义 TREC目前所包含的Tracks： Cross-Language Track Filtering Track Genomics Track HARD Track Interactive Track Novelty Track Question Answering Track Robust Retrieval Track Terabyte Track Video Track Web Track 名词定义 Topic 预先确定的问题，用来向检索系统提问 Topic ?query (自动或者手工) Question (QA) Document 包括训练集和测试集合 Relevance Judgments 相关性评估 Topic的一般结构 Title：标题，通常由几个单词构成，非常简短 Description：描述，一句话，比Title详细，包含了Title的所有单词 Narrative：详述，更详细地描述了哪些文档是相关的 Topic示例 num Number: 351 title Falkland petroleum exploration desc Description: What information is available on petroleum exploration in the South Atlantic near the Falkland Islands? narr Narrative: Any document discussing petroleum exploration in the South Atlantic near the Falkland Islands is considered relevant. Documents discussing petroleum explor