排序学习.ppt.pptVIP

排序学习 李巧兰 学号：1102121363 2012-3-5 一、排序学习的定义 二、排序学习的目的 三、排序学习的分类及特点 四、排序学习的主要研究方向 五、排序学习的必威体育精装版应用 排序学习 定义： 排序学习问题可表示为：给定一个输入向量的集 合X: 及其对应的标号 , 来寻找一个能够精确预测未知样本X的标号的决策 函 数。 其中，m表示训练样本的数目；n表示输入向量的维度。s=（x,y)为某一分布p(x,y)的样本集合，也称训练集合。 目的： 排序学习的目的是寻找一个能够精确预测未知样本X的标号的决策函数，即排序学习所学习的预测函数将最小化对排序的预测错误，预测错误可描述为，f(x)≠y的概率。 不同于传统的分类问题，排序学习具有的排序性质要求找到的函数f满足： 其中 和 是定义在样本特征空间X和样本序空间Y上的顺序关系． 分类 由于训练模型时的输入数据不同，现有的排序学习方法可以分为三类： 点方式(point-wise) 对方式(pair-wise) 列表方式(list-wise) 点方式(point-wise) 如Pranking with ranking算法，采用一个查询对应的单一文档作为训练样例，而不考虑此文档与该查询对应的其他文档之间的关系，这种方法的目的是将训练样例准确的映射到区间里 特点：模型简单，训练时间较短，但很明显与人们的直观经验相悖。相关与非相关是相对的概念，我们只需要对文档按分数从高到低进行排序，而不需要精确预测每个文档的分数。为了改进这一点，pairwise型方法被提了出来。 对方式(pair-wise) 如Ranking SVM算法，采用查询对应的文档对(Document Pairs)作为训练样例，模型训练的目的是正确的找到输入实体对等级的差异 特点：这一类方法符合人们的直观思维，有很多方法在实际产品中获得了成功的应用，但这类模型相比pointwise方法，模型较复杂，训练时间较长，需要有比较高效的学习算法。 列表方式(list-wise) 如ListNet算法，采用查询对应的文档序列 (Document Lists)作为训练样例。目前，listwise 方法可以分为两类：一类将损失函数构造为信息检索结果评价函数的界限，如SVMMap；另一类将损失函数构造为用于衡量预测的文档序列与实际最好的文档序列之间的差异，如ListNet 和ListMLE 特点：理论上来说，这种方法能获得最优的排序性能，因为对训练数据的优化目标完全符合人们对检索系统结果优劣的判断。但在实际应用中存在很多的问题，首先训练数据比较难以获得，对于给定的查询，标注者需要对所有的文档进行一个相关度排序，很费时费力，客观上无法获得大量的训练数据。其次，模型可能过于复杂，如何定义文档列表的损失函数将决定模型的复杂度以及训练时间的长短。因此，这一类方法基本上停留在理论研究阶段，只有某些特定的应用场景适合采用listwise型的方法。 ： 机器学习解决排序学习问题的方法大致分 为以下3类： 基于回归的排序学习 基于分类的排序学习 基于顺序回归的排序学习 解决排序学习问题最简单的方法就是把它看成 传统的回归问题，把序列标号转化成实数。 基于分类的排序学习是把排序问题分解为一系列嵌套的二值分类问题，这些二值分类问题的解中包含了排序信息，对这些解进行某种组织分析即可得到最终的排序。 基于顺序回归的排序算法是当前排序学习的研究热点，根据对训练样本处理手段的不同又可以分成2大类：基于样本点的排序算法(如PRank算法)和基于样本对的排序算法(如Ranking SVM算法) 现在排序学习方法主要的研究方向可以归结为三类： (1)提出一种排序学习算法，用于构建更有 效率或者更有效果的排序函数 (2)构建一种优化函数，能够指导排序学习算法学得一个更优的排序函数 (3)设计新的特征，能够更好地描述某一数据集，从而用于构建更为有效的排序函数 必威体育精装版应用 1、面向排序学习的特征分析的研究 由于现有的排序学习方法的研究，很少在特征分析的基础上，从特征重组与选择的角度来构建更有效的排序函数。针对这一问题，本文提出如下的模型框架：对构建排序函数的特征集合进行分析，然后重组与选择，利用排序学习方法学习排序函数。 基于