决策树学习培训讲义.pptVIP

《人工智能》第6章学习智能体-决策树学习 巢文涵 chaowenhan@buaa.edu.cn G1001/G931 北航计算机学院智能信息研究所 * 大纲 简介 决策树学习算法 应用实例 决策树(Decision Tree) 决策树学习是应用最广的归纳推理算法之一 它是一种逼近离散函数的方法 学习到的函数以决策树的形式表示 主要用于分类 对噪声数据有很好的鲁棒性 能够学习析取表达 分类任务基本框架 分类应用实例 垃圾邮件过滤 信贷分析 新闻分类 人脸识别、手写体识别等 决策树的结构 图结构 内部节点（非树叶节点，包括根节点） 在一个属性上的测试 分枝 一个测试输出 树叶节点 类标识 决策树示例 另一棵决策树 决策树分类任务框架 决策树应用 决策树应用 决策树应用 决策树应用 决策树应用 决策树应用 决策树分类任务框架 大纲 简介 决策树学习算法 应用实例 决策树算法 Hunt’s Algorithm CART ID3, C4.5 SLIQ,SPRINT 基本的ID3算法 基本算法 决策树归纳 贪婪策略 根据特定的性能度量选择最好的划分属性 要素 哪个属性是最佳的分类属性？ 如何确定最佳划分点 如何确定停止条件 度量标准——熵 熵(Entropy) 信息论中广泛使用的一个度量标准 刻画任意样例集的纯度（purity） 一般计算公式为： 对于二元分类：给定包含关于某个目标概念的正反样例的样例集S，那么S相对这个布尔型分类的熵为： Entropy(S) ?-p?log2p?-pΘlog2pΘ 其中p?是在S中正例的比例，pΘ是在S中负例的比例。在有关熵的所有计算中我们定义0log0为0。 例子 度量标准——熵 度量标准——熵 信息论中熵的一种解释 熵确定了要编码集合S中任意成员（即以均匀的概率随机抽出的一个成员）的分类所需要的最少二进制位数 = 1 接收者知道抽出的样例必为正，所以不必发任何消息，熵为0 = 0.5 必须用一个二进制位来说明抽出的样例是正还是负，熵为1 = 0.8 那么对所需的消息编码方法是赋给正例集合较短的编码，可能性较小的反例集合较长的编码，平均每条消息的编码少于1个二进制位 性能度量——信息增益 属性的信息增益 使用这个属性分割样例而导致的期望熵降低的数量 Values(A)是属性A所有可能值的集合 Sv 是S中属性A的值为v的子集 ，即Sv={s?S|A(s)=v} 当对S的一个任意成员的目标值编码时，Gain(S,A)的值是在知道属性A的值后可以节省的二进制位数 例子 假设S是有关天气的训练样例集 [9+,5-] 其中： wind=weak的样例是 [6+,2-] wind=strong的样例[+3,-3] 问题:计算属性wind的信息增益 S的熵： E(S)= -(9/14)log(9/14) – (5/14)log(9/14)=0.940 选择最好的分类属性 大纲 简介 决策树学习算法 应用实例 应用实例 问题及数据集 根据其他属性，判断周六是否玩网球playTennis=Y/N? Step1: 确定根节点 分别计算4个属性的信息增益 Outlook: 0.246 =Sunny [2+,3-] =Overcast [4+,0-] =Rain [3+,2-] Wind: 0.048 =weak的样例是 [6+,2-] =strong的样例[+3,-3] Humidity : 0.151 Temperature : 0.029 因此：根节点为Outlook Step 2: 分枝 Step 3: 循环 小结 实例是由“属性-值”对（pair）表示的 目标函数具有离散的输出值 可能需要析取的描述（disjunctive description） 训练数据可以包含错误 训练数据可以包含缺少属性值的实例 作业 6-1画出表示下面布尔函数的决策树 （a）A??B （b）A?[B?C] （c）A XOR B （d）[A?B] ? [C?D] 作业 6-2考虑下面的训练样例集合 手动给出决策树的构造过程 作业 6-3 ID3仅寻找一个一致的假设，而候选消除算法寻找所有一致的假设。考虑这两种学习算法间的对应关系 （a）假定给定EnjoySport的四个训练样例，画出ID3学习的决策树 （b）学习到的决策树和从同样的样例使用变型空间算法得到的变型空间间有什么关系？树等价于变型空间的一个成员吗？ 作业 6-4 实现ID3算法，并以PlayTennis实例中的训练集进行训练，给出最终的决策树 选择哪个属性进