基于matlab的决策树.pdf

数据挖掘大作业 ——ID3决策树 学号 姓名：张旭 一．决策树算法 Ⅰ.决策树的基本概念 机器学习中，决策树是一个预测模型；它代表的是对象属性值与对象值之间 的一种映射关系。树中每个节点表示某个对象，每个分叉路径则代表的某个可能 的属性值，而每个叶结点则对应具有上述属性值的子对象。决策树仅有单一输出； 若需要多个输出，可以建立独立的决策树以处理不同输出。 从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。决 策树学习也是数据挖掘中一个普通的方法。在这里，每个决策树都表述了一种树 型结构，它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依 靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。当不 能再进行分割或一个单独的类可以被应用于某一分支时，递归过程就完成了。另 外，随机森林分类器将许多决策树结合起来以提升分类的正确率。 决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方 法可以取得更加理想的效果。 决策树一般可归纳为2类：分类与预测。本文着重关于其分类的作用，并以 此来构建一个完整的决策树。 Ⅱ.决策树分类器的优点 以此次用的ID3算法为例，以此算法产生的决策树分类器具有很多优点：决 策树的构造不需要任何领域知识或参数设置，因此适合于探测式知识发现；决策 树可以处理高维数据，推理过程完全依赖于属性变量的取值特点，可自动忽略目 标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供 参考，同时对噪声数据具有很好的健壮性；决策树归纳的学习和分类步骤是简单 和快速的，推理过程可以表示成IfThen形式，并且具有很好的准确率；获取的 知识用树的形式表示是直观的，并且容易被人理解。因而，决策树归纳分类是目 前应用最广泛的归纳推理算法之一，在数据挖掘中受到研究者的广泛关注。 但是其缺点也是很多的，如：信息增益的计算依赖于特征数目较多的特征， 而属性取值最多的属性并不一定最优。ID3是非递增算法。ID3是单变量决策树 (在分枝节点上只考虑单个属性)，许多复杂概念的表达困难，属性相互关系强调 不够，容易导致决策树中子树的重复或有些属性在决策树的某一路径上被检验多 次。抗噪性差，训练例子中正例和反例的比例较难控制。 二．ID3算法 ID3算法主要针对属性选择问题，是决策树学习方法中最具影响和最为典型 的算法。ID3采用贪心方法，其中决策树以自顶向下递归的分治方式构造。大多 数决策树归纳算法都沿用这种自顶向下的方法，从训练元组集和它们的相关联的 类标号开始构造决策树。随着树的构建，训练集递归地划分成较小的子集。 ID3算法中关键的一步是属性选择度量，即选择分裂准则。其中的三种度量方法 分别是信息增益、增益率和Gini指标。（示例算法选择了第一种方法）。当获 取信息时，将不确定的内容转为确定的内容，因此信息伴着不确定性。 算法的基本策略如下： 1.选择一个属性放置在根节点，为每个可能的属性值产生一个分支 2.将样本划分成多个子集，一个子集对应于一个分支 3.在每个分支上递归地重复这个过程，仅使用真正到达这个分支的样本 4.如果在一个节点上的所有样本拥有相同的类别，即停止该部分树的扩展 此次问题在选择属性值时采用启发式标准，其内容为： 只跟本身与其子树有关，采取信息理论用熵来量度。属性选择度量是一种选 择分裂准则，将给定的类标记的训练元组的数据划分D“最好”地分成个体类的 启发式方法。如果我们要根据分裂准则的输出将D划分成较小的划分，理想地， 每个划分是“纯”的，即，落在给定划分的所有元组都属于相同的类。从概念上 讲，最好的划分准则是导致最接近这种情况的划分。此次问题采用一种流行的属 性选择度量——信息增益。 信息增益度量基于Claude Shannon在研究消息的值或“信息内容”的信息 论方面的先驱工作。设节点N代表或存放划分D的元组。选择具有最高信息增益 的属性作为节点N的分裂属性。该属性使结果划分中的元组分类所需的信息量最 小，并反映这些划分中的最小随机性或“不纯性”。这种方法使对给定元组分类 所需的期望测试数目最小，并确保找到一棵简单的树。 熵是选择事件时选择自由度的量度，其计算方法为：P=freq(Cj,S)/|S|； Exp(S)=-SUM(P*LOG(P)) ； SUM() 函 数 是 求 j 从 1 到 n 的 和 。 Entropy(X)=SUM( (|Ti|/|T|