20111201信息检索评价方法.pptxVIP

信息检索评价方法报告人：华松IR中评价什么？效率时间空间效果相关文档的多少其他指标访问量数据更新速度……基本符号说明假设检索词query：R：语料中与query相关的文档集合A：系统给出的检索结果Ra：R与A的交集，即系统给出的相关文档集合P值P值：即精确度（Precision）计算公式：P@n值：检索结果集合前n个文档的P值R-precision值：检索出R篇相关文档时的P值R值R值：召回率（Recall）计算公式：例查询Q，本应有100篇相关文档，系统检索出200篇文档，其中有80篇是真正相关的文档Precision=80/200=0.4Recall=80/100=0.8召回率较高，但精确度越低P、R值融合两个指标分别衡量了系统的某个方面，但是难以用于比较融合P R值的评价指标调和平均值P、R值融合E指标P-R曲线P-R曲线在不同的R值时的P值的曲线上面的曲线对于的系统结果更好P-R曲线示例1P-R曲线示例1(续)P-R曲线示例2多系统的P-R曲线比较P-R曲线的优缺点优点简单直观整合了P值和R值缺点难以明确表示两个查询（或者说系统）的检索结果的优劣P-R曲线的单一指标Break Point：曲线上P=R的点11点平均精确率(11 point average precision)：召回率在0，0.1，…1.0的是一个点上的P值求平均MAP值MAP值：单个query的AP值每篇相关文档检索出后的准确率的平均值也就是不同召回率点上的平均准确率query集合的MAP值每个query的MAP值的平均值MAP值检索到第i个相关结果时所有的结果个数Query的数量第q个query相关结果的个数第i个相关结果MAP值计算公式MAP示例检索结果列表Query1: {R，R，I，I，I，R，R，I，R}Query2: {R，I，I，R，R，R，R，I，R}Query3: {I，R，I，R，I，R，I，I，I}AP值Query1: (1+1+3/6+4/7+5/9)/5=0.725Query2: (1+2/4+3/5+4/6+5/7+6/9)/6=0.691Query3: ……=0.5MAP值(0.725+0.691+0.5)3=0.639MRRRR（Reciprocal Ranking）是第一个相关文档出现位置的倒数MRR（平均排序倒数）多个query的RR值的平均值适用于只找出一个相关文档的任务BprefBpref：Binary preference, 2005年首次引入到TREC的Terabyte（海量数据的检索）基本思想：在进行了相关性判断的文档集合中，计算判断到相关文档前，遇到的不相关文档的篇数更加适用于海量数据，相关性判断不完全的情况下Bpref示例GMAPGMAP（Geometric MAP）求几何平均值的MAP例子GMAP（续）几何平均值示例中：GMAPa=0.056，GMAPb=0.086可与MAP配合使用NDCGNDCG相关的概念：相关度级别，比如0,1,2,3相关结果排序位置假设相关度级别越高的结果越多越好相关度级别越高的结果越靠前越好文档的贡献1到n的所有贡献值的和作为评价结果 NDCG计算方法NDCG详解Directed GainCumulated Gain(CG) vectorDiscounted CG vectorNDCG详解(续)Best vector：最优向量I’ = {3,3,3,2,2,2,1,0,0…}CGI’ = {3,6,9,11,13,15…}DCGI’ = {3,6,7.89,8.89,9.75,10.52,10.88…}NDCG详解(续)Normalized (D)CGV可以是CG’，也可以是DCG’TREC简介The Text REtrieval Conference由美国国防部(DARPA)和美国国家标准技术研究所(NIST)联合发起1992年开始，每年一次一开始仅仅面向文本，后来逐渐加入语音、图像、视频方面的评测以年度为周期运行。过程为：确定任务-参加者报名-参加者运行任务-返回运行结果-结果评估-大会交流TREC任务举例1Web Track：Web检索任务，分为三个子任务(1) ad-hoc 检索，传统检索任务(2) Diversity track，要求检索结果的多样性，使返回的结果尽量避免冗余，要求信息的多样。(3) Spam filtering, 过滤掉语料集中信息含量低或对检索任务有负面影响的英文文档。TREC任务举例2Entity Track 实体检索识别任务，主要分为三个子任务(1) Related entity finding (REF) 给出实体描述，通过描述返回相关的主页(2) Related entity finding with Linked Open Data(L