第7章检索系统的评价.pptVIP

本章内容 检索系统评价的基本概念和类型 性能评价指标和评价方法 主要的测试集 评价方案的设计与实施 课堂作业 Consider an information need for which there are 4 relevant documents in the collection. Contrast two systems run on this collection. Their top 10 results are judged for relevance as follows (the leftmost item is the top ranked search result): 1?RNRNN?NNNRR 2?NRNNR?RRNNN What is the MAP of each system? Which has a higher MAP? Does this result intuitively make sense? What does it say about what is important in getting a good MAP score? What is the R-precision of each system? (Does it rank the systems the same as MAP?) 1、相关性范畴概念理论 相关性范畴是按照检索结果同检索课题的相关程度，把检索结果分别归入四个范畴。 就是多值相关性判断 范畴0：重复链接、死链和不相关联链接 范畴1：技术上相关，但与用户需求没有相关性 范畴2：潜在有用的链接，或者给出指向属于范畴 3的链接 范畴3：十分有用的链接 3：评级方案的设计 4：评价方案的实施 步骤: （1）取样， （2）测试， （3）数据收集与纪录， （4）数据处理与分析， （5）评价结果分析与解析 前X命中记录查准率 用来反映检索系统在前X个检索结果中向用户提供相关信息的能力 P（20） 看前20条记录中向用户提供相关信息的能力。 怎么做呢？ 教材202页。 ？ 用所有有哪些信誉好的足球投注网站引擎得出的检索结果之和？ 数据库规模与内容：收录范围、重复率、死链接等。 索引方法：索引方式、索引范围与深度 检索功能：基本检索功能 高级检索功能 检索结果的处理：排序、显示内容和格式等 分类功能 用户界面 （一）问题的提出 分析实际检索系统往往很难，因此通过标准定制的数据来进行性能评价，也就是说通过给定一定的文献、提问式和相关性判断来进行评价。 一个好的试验样本应该包括： （1 ）一组标准的文献和提问式 （2 ）每一个提问式对应的相关文献集合 1Smart collection: /pub/smart 2TREC: / 3CF collection 4国内863项目 为了对SMART测试项目所做的一个小规模的测试集. (/pub/smart) Collection Name Number of Document Number of Queries Raw Size (Mbytes) CACM 3,204 64 1.5 CISI 1,460 112 1.3 CRAN 1,400 225 1.6 MED 1,033 30 1.1 TIME 425 83 1.5 （1）什么是TREC 文本检索会议，一开始是由国防部高级研究计划署资助的TIPSTER项目发起的。从1992年起每年举办一次，由美国国家标准技术组织和DARPA联合举办。参加者会得到用于培训和测试用的一系列的标准文献和提问，然后在会议上交流结果。 TREC: Text REtrieval Conference (/) 1为比较不同的检索技术提供了共同的基础。(相同的文献、相同的提问和相同的评价方法） 2分享和交流发展样本的资源和经验。 （资助主要来自政府） 3鼓励产业界和学术界的参与 4发展新的评价方法和技术，特别是评价新的检索系统的方法和技术。如网络检索、非英语系统、问答式系统等。 1 规模大 Large scale (compared to a few MB in the SMART Collection). 2 提供了相关性判断 Relevance judgments provided. 3 美国政府的大力资助 Under continuous development with support from the U.S. Government. 4 参加者广泛 Wide participation: TREC 1: 28 papers 360 pages. TREC 4: 37 papers 560 pages. TREC 7: 61 papers 60