利用ID3算法建立决策树的研究.pdfVIP

2008年第7期 福 建 电 脑 利用ID3算法建立决策树的研究 刘春阳 (石家庄市油漆厂 河北 石家庄 050051) 【摘 要】：本文主要介绍了决策树的基本思想，详细介绍了ID3算法的原理，并利用ID3算法建立了决策树，生成相应 的规则。 【关键字】：数据挖掘，决策树，ID3算法 随着信息技术的高速发展。人们收集、存储和访问数据的不 率．利用属性A对当前分支结点进行相应样本集合划分所得到 断增多 如何去发现和分析这些数据之间所存在的关系和规则 的信息增益为 在目前是个十分重要的课题。数据挖掘(D 技术在这种背景下 Gain(A)=l(Sh S …．S )一E(A)， 应运而生了，它融合了数据库，人工智能，机器学习，统计学等多 通过计算每个属性的信息．然后选择增益最大的那个属性 个领域的理论和知识。数据挖掘工具能够对未来趋势进行预测， 作为给定集合S的测试属性．并由此产生相应的分支结点． 可以很好的支持人们的决策。其中常用的方法有神经网络。遗传 2．2用ID3算法创建决策树 算法，决策树，规则推理，贝叶斯分类等等f一。其中决策树方法较 表 1是一个公司销售计算机的调查后的销售数据集 D。现 容易被人们理解．输出的精度高，因此在数据挖掘领域应用较为 在利用ID3算法构造”购买计算机”的分类决策树。 广泛。但决策树方法也有其缺点，比如它很难基于多个变量组合 隧 鼷 濑 l羹 霸鳗 25—35 高 否 乡村 悬 发现规则。不同的决策树分支之间的分裂也不平滑，传统决策树 31-35 由 否 城市 是 算法的计算复杂度较高等等。 3l一35 高 是 乡村 是 )35 由 否 乡村 是 1、决策树基本思想 )35 低 是 乡村 是 决策树方法是目前应用最广泛的归纳推理算法之一．是一 )35 低 是 城市 否 3I一35 低 是 城市 悬 种逼近离散值函数的方法，也可以把它看作是一个布尔函数。它 《25 由 否 乡村 否 是以实例为基础的归纳学习算法．通常用来形成分类器和预测 ≤25 低 是 乡村 是 )35 中 是 乡村 是 模型．着眼于从一组无次序、无规则的事例中推理出决策树表示 ≤25 高 否 乡村 否 形成的分类规则。它采用自顶向下的递归方式，在决策树的内部 《25 高 否 城市 否 )35 由 否 城市 否 结点进行属性值的比较并根据不同的属性值判断从该结点向下 ≤25 由 是 城市 是 的分支，最后在决策树的叶结点得到结论。因此从根到叶结点的 表