机器学习及排序学习基础.PDF

机器学习及排序学习基础 武威 微软亚洲研究院自然语言计算组副研究员 wuwei@ 2012年11月 提纲 • 什么是排序学习(Learning to Rank) (L2R) • 如何学习一个排序  排序学习的两条线  排序生成  排序整合 • 参考资料 你能得到什么 • 为什么要“学习”排序 • 什么是排序学习 • 排序学习的基本流程是什么 • 基本的排序学习算法 • 什么是排序学习 • 如何学习一个排序  排序学习的两条线  排序生成  排序整合 • 参考资料 无处不在的排序 其他例子 • 统计机器翻译(Machine Translation) • 图片有哪些信誉好的足球投注网站(Image Search) • 专家有哪些信誉好的足球投注网站(Expert Search) • 推荐系统(Recommender System) • …… 近年排序学习的发展趋势 • 排序学习已经被成功地应用到了实际网络有哪些信誉好的足球投注网站中  Google  Bing  百度  有道  …… • 在SIGIR，ICML，NIPS等信息检索、机器学习的国际会议上有超过100 篇的文章 • 每年信息检索的顶级会议SIGIR上有两个session • Yahoo Learning to Rank Challenge • 排序学习的标准数据集LETOR  /en-us/um/beijing/projects/letor/ 机器学习基础 机器学习的定义 • A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E by Tom Mitchell in Machine Learning • 排序学习  任务：对一组文档进行排序  评估指标：相关文档应该排在前面  经验：人工标注  目标：利用人工标注设计算法以抓住隐藏在数据中的规 律从而实现对任意查询请求给出反映相关性的文档排序 机器学习的基本要素 训练数据 training data 评估 特征 evaluation 机器 feature 学习 算法 模型 algorithm model 机器学习的基本步骤 训练数据生成 特征抽取 模型构建 算法设计 模型选择 效果评估