xgboost的划分原则.pdfVIP

Ensemble Learning and Two Popular Papers 计算机科学与工程学院 高崇铭（201621060221） Prologue 本次研讨课除了XGBoost论文外，我们将 分享一些集成学习的基础，再分享的过程中， 我们将会提出大量问题供同学们思考、讨论。 由于我知识有限，有些概念可能不准确。 对于我们分享过程中，有任何疑问，欢迎同学 们打断一起讨论。 Framework 1. Background and Activation 1. Background and Activation ➢ 集成学习背景故事 ➢ 集成学习简介（假设、关注点、种类） 浅谈， ➢ 方差与偏差、决策树模型 概念建立 10~20min 2. Introduction and discussion of Models 2. Introduction and discussion of Models ➢ Bagging 随机森林 ➢ Boosting(AdaBoost, Boosting tree, 深入探讨 GBDT, XGBoost) 40~50min 3. Two Popular Papers ➢ XGBoost 前沿 10~20min ➢ Deep Forest 1. 故事 故事…… 南京大学周志华教授 公认的国内机器学习、数据挖掘最强 人。其领导的学术团队LAMDA组为 国内机器学习最顶尖组。 翻译引进“集成学习”一词并发扬光 大，被称为“集成学习集大成者”。 “深度学习里面有大量的Trick ，所以今天来看就有点像老中医在治病一 样，虽然能治病，但是什么东西是有用的，什么是没有用的，什么是起 副作用的，都不太清楚，笼统地混到一起，有些浑水摸鱼的味道。” 故事…… 竞赛与工程中的集成学习 在国际、国内各种数据竞赛中，获胜队伍几乎都用上了集成 学习模型 ，保证准确度的同时也提升了防止过拟合的能力。 Python中的sklearn模块提供了集成学习的库，就算不懂集成 学习的原理，也能轻易调用相关算法。 GBDT: ➢ 工业界如Yahoo、百度、阿里等作为推荐、检索算法 ➢ 2016CFF数据竞赛初赛冠军所用算法 XGBoost: proposed by Tianqi Chen ➢