第2组-大型网站系统与Java中间件实践.PDFVIP

2017年 《数据分析工具实践》 随机森林的R实现之 randomForest包 二学位 许昕 1600022716 指导老师 孙惠平 1 什么是随机森林 1.1 什么是随机森林 • 顾名思义，随机森林就是用随机的方式建立一片森林，森林由很多的 决策树组成，随机森林的每一棵决策树之间是没有关联的 • 在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的 每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类 （对 于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一 类 • 随机森林既可以处理属性为离散值的量，也可以处理属性为连续值的 量。另外，随机森林还可以用来进行无监督学习聚类和异常点检测 1.2 什么是随机森林 • 随机森林由决策树组成，决策树实际上是将空间用超平面进行划 分的一种方法，每次分割的时候，都将当前的空间一分为二 1.3 什么是随机森林 • 随机森林是一种利用多棵决策树对数据进行判别与分类的方法， 它在对数据进行分类的同时，还可以给出各个变量的重要性评分， 评估各个变量在分类中所起的作用 • 可以这样比喻随机森林算法：每一棵决策树就是一个精通某一个 窄领域的专家，这样在随机森林中就有了很多个精通不同领域的 专家，对一个新的问题 （新的输入数据），可以用不同的角度去 看待它，最终由各个专家投票得到结果 （群体智慧） 2 随机森林的应用 2.1 随机森林的应用 • randomForest函数的基本书写格式为： randomForest(输出变量名~输入变量名, data=数据框名, mtry=k, ntree=M, importance=TRUE) • 数据事先组织在data参数指定的数据框中 • 参数mtry用于指定决策树各节点的输入变量个数k • 参数ntree用于指定随机森林包含M棵决策树，默认为500 • 参数importance=TRUE表示计算输入变量对输出变量重要性的测度值 2.2 随机森林的应用 • 随机森林共建立了500棵决策 树，每个节点的候选输入变量 个数为2 。基于袋外观测OOB 的预测错判率为42.67% • 以第1个观测为例：有63% 的 决策树投票给NO类，37%投票 给YES 类。它有189 次作为 OOB未进入训练样本集 2.3 随机森林的应用 2.4 随机森林的应用 • 可利用treesize 函数显示随机森林中各决策树的大小 • 可利用getTree函数抽取随机森林中的某棵树并浏览其结构 2.5 随机森林的应用 3 随机森林练习题 3.1 随机森林练习题 一、针对iris数据集，通过随机森林的算法，根据一些特征 （花瓣 和花萼的长、宽）来预测植株的种类。 二、针对cancer数据集，通过随机森林的算法，根据一些特征 （肿块厚度、细胞大小的均匀性等）来预测癌症的种类 （良性 or 恶性）。 3.2 练习题一解答（1） 3.2 练习题一解答（2） 3.3 练习题二解答（1） 3.3 练习题二解答（2）