第4章 节 分类方法(new) 数据挖掘课件.ppt

合并具有连续值的属性，对于连续属性值，C4.5其处理过程如下： 根据属性的值，对数据集排序； 用不同的阈值将数据集动态的进行划分； 当输出改变时确定一个阈值； 取两个实际值中的中点作为一个阈值； 取两个划分，所有样本都在这两个划分中； 得到所有可能的阈值、增益及增益比； 在每一个属性会变为取两个取值，即小于阈值或大于等于阈值。 简单地说，针对属性有连续数值的情况，则在训练集中可以按升序方式排列。如果属性A共有n种取值，则对每个取值vj（j =1，2，… ，n），将所有记录进行划分：一部分小于vj；一部分则大于或等于vj 。针对每个vj计算划分对应的增益比率，选择增益最大的划分对属性A进行离散化 。 处理含有未知属性值的训练样本 C4.5处理的样本中可以含有未知属性值，其处理方法是用最常用的值替代或者是将最常用的值分在同一类中。具体采用概率的方法，依据属性已知的值，对属性和每一个值赋予一个概率，取得这些概率，取得这些概率依赖于该属性已知的值。 规则的产生 一旦树被建立，就可以把树转换成if-then规则。规则存储于一个二维数组中，每一行代表树中的一个规则，即从根到叶之间的一个路径。表中的每列存放着树中的结点。 C4.5算法例子 样本数据 Outlook Temperature Humidity Wind PlayTennis Sunny Hot 85 false No Sunny Hot 90 true No Overcast Hot 78 false Yes Rain Mild 96 false Yes Rain Cool 80 false Yes Rain Cool 70 true No Overcast Cool 65 true Yes Sunny Mild 95 false No Sunny Cool 70 false Yes Rain Mild 80 false Yes Sunny Mild 70 true Yes Overcast Mild 90 true Yes Overcast Hot 75 false Yes Rain Mild 80 true No Outlook(离散属性) Temperature(离散属性) Humidity(连续属性) Wind(离散属性) PlayTennis(类别属性) （1）首先对Humidity进行属性离散化，针对上面的训练集合，通过检测每个划分而确定最好的划分在75处，则这个属性的范围就变为{（=75 ，75）}。 （2）计算目标属性Humidity分类的期望信息： 接下来计算属性Outlook的SplitI值: 对于Outlook=Sunny,有 对于Outlook=Sunny,有 对于Outlook=Sunny,有 对于决策属性PlayTennis来说,计算Outlook属性每个分布的期望信息 选取最大的GainRatio，根据Outlook的取值，可以得到三个分支。再扩展各分枝节点，得到最终的决策树。 因此,可得到Outlook属性的熵: 对应的信息增益为: 最后得到信息增益比例为: 0.0483 Humidity) GainRatio( = 0.0248 e) Temperatur GainRatio( = ； 049 . 0 ) ( = ； windy GainRatio 同理,可计算出 Temperature Humidity Wind PlayTennis Hot ＞75 false No Hot ＞75 true No Mild ＞75 false No Cool ≤75 false Yes Mild ≤75 true Yes Temperature Humidity Wind PlayTennis Mild ＞75 false Yes Cool ＞75 false Yes Cool ≤ 75 true No Mild ＞ 75 false Yes Mild ＞ 75 true No Temperature Humidity Wind PlayTennis Hot ＞75 false Yes Cool ≤ 75 true Yes Mild ＞75 true Yes Hot ≤75 false Yes =Rain Outlook？ =Sunny =Overcast T1 T3 T2 对于第一棵子树， 1 Humidity) GainRatio( = 0.244 e) Temperatur GainRatio( = ； 0206 . 0 ) ( = ； windy GainRatio ，选择Humidity作为决策属性，得到两个叶结点。 对于第二棵子树，所有样本都