决策树随机森林adaboost.PDFVIP

决策树、随机森林、adaboost 七月算法 龙老师 2016 年5月28 日 主要内容  复习信息熵  熵、互信息  决策树学习算法  信息增益  ID3 、C4.5 、CART  Bagging 与随机森林  提升  Adaboost/GDBT 4 月机器学习算法班 2/51 熵与互信息  熵是对平均不确定性的度量  平均互信息：得知特征Y 的信息而使得对标 签X 的信息的不确定性减少的程度。 4 月机器学习算法班 3/51 熵与互信息 4 月机器学习算法班 4/51 各个熵之间的关系 4 月机器学习算法班 5/51 决策树  根节点  父节点  子节点  叶子节点  分叉  属性  标签 4 月机器学习算法班 6/51 决策树(Decision Tree)  决策树学习采用的是自顶向下的递归方 法，  其基本思想是以信息熵为度量构造一棵 熵值下降最快的树，到叶子节点处的熵 值为零，  此时每个叶节点中的实例都属于同一类 。  有监督学习 4 月机器学习算法班 7/51 决策树学习的生成算法  建立决策树的关键，即在当前状态下选择哪 个属性作为分类依据。根据不同的目标函数 ，建立决策树主要有一下三种算法。  ID3  C4.5  CART 4 月机器学习算法班 8/51 信息增益  特征A对训练数据集D 的信息增益g(D,A) ， 定义为集合D 的经验熵H(D) 与特征A给定条 件下D 的经验条件熵H(D|A) 之差，即：  g(D,A)=H(D) – H(D|A)  显然，这即为训练数据集D 和特征A 的互信息。  遍历所有特征，选择信息增益最大的特征作 为当前的分裂特征 4 月机器学习算法班 9/51 其他目标  信息增益率：gr(D,A) = g(D,A) / H(A)  C4.5  Gini 系数：  CART 4 月机器学习算法班 1