基于信息增益总体竞争的决策树分裂属性选择算法.pdfVIP

仲恺农业技术学院学报，21(1)：42～45，2008 Journa／ofZhongkai University ofAgriculture and Technology 文章编号：1006—0774{2008)01—0042—04 基于信息增益总体竞争的决策树分裂属性选择算法 郭世仁 ，简友光 (1．仲恺农业技术学院信息学院，广东广州510225； 2．仲恺农业技术学院继续教育学院，广东广州510225) 摘要：提出了一种能在一定程度上避免决策树陷入局部最优的分裂属性选择算法：总体竞争．该方法考虑了候 选属性在总体学习样本上的分类能力，以此通过各候选属性的相互竞争，确定决策树增长过程中的分裂属性． 以herative Diehotomizer 3(ID3)算法为对照的实验数据表明，该方法能以较小的代价获得较高的决策树准确率． 关键词：分类；决策树；信息增益；总体竞争；ID3 中图分类号：TP311 文献标识码：A An algorithm for selecting split attribution in decision tree： ensemble vote based on information gain GUO Shi。ren ，JIAN You。guang (1．Colege of Information，Zhongkm University of A culture and Technology，Guangzhou 510225，China； 2．Colege of Continuing Education，Zhongkai University of Agriculture and Technology，Guangzhou 510225，China) Abstract：An algorithm for selecting split attribution in decision tree with ensemble vote was proposed to avoid local optimization to a certain extent．The classification capability of these candidate attributions on ensemble sample was calculated，and the candidates were voted to select a split attribution to build deci- sion tree．Contrast to Iterative Dichotomizer 3(ID3)，the resulm of experiments showed that the method improved the predictive accuracy at a low cost． Key words：classification；decision tree；information gain；ensemble vote；ID3 1 引言 决策树 (Decision Tree)技术-1 是数据挖掘中完成分类任务的主要技术，决策树学习也是应用最广泛 的归纳推理算法之一-2]．大多数已提出的决策树学习算法都是一种核心算法的变体，该算法采用自顶向 下的贪婪有哪些信誉好的足球投注网站可能的决策树空间 ]．比较著名的决策树方法是Quinlan 于1986年研制的Iterative Dichoto— mizer 3(ID3)算法． ． ID3算法是一个自顶向下生长决策树的贪心算法，其基本思想是利用信息熵原理，选择信息增益最大 的属性作为分类样本属性 (也称为分裂属性)，然后递归地扩展决策树的分枝，直到完美分类训练样本或 者没有分裂属性可选． ID3算法的核心问题是选取用于生长决策树的分裂属性．ID3算法定义了一个称