人工智能机器学习.ppt

示例学习－ 两个空间模型（规则空间） 对规则空间的要求 表示要适应于归纳。如：有谓词才可以增减；有状态空间才能拟合。不同的归纳方法要求不同的规则表示方法。如果规则空间描述的语言的表达能力较弱，可以使用的归纳方法就比较少，规则空间的有哪些信誉好的足球投注网站反谓就比较小，有哪些信誉好的足球投注网站就比较容易。但解决的问题就较少。因此，设计是在规则空间表达能力与规则空间有哪些信誉好的足球投注网站难度之间进行权衡。 表示和例子的一致。如相差很大，解释例子和选择例子的过程就很复杂。 引入新术语（规则空间）。当表示语言不能描述学习过程中产生的新状态时，要产生新的术语。 示例学习－ 例 有两组数据 组别 发色 眼睛 1 金 蓝 红 蓝 金 蓝 金 灰 2 金 黑 黑 蓝 黑 蓝 黑 灰 金 黑 通过学习,得到描述规则 1 .[发色=金色 ∨ 红色] ∧ [眼睛=蓝色 ∨ 灰色] 2 .[发色=黑色] ∨ [眼睛=黑色] 示例学习－ 例 有两组数据（决策树学习） 组别 身高 发色 眼睛 + 矮 金 蓝 高 红 蓝 高 金 蓝 - 高 金 棕 矮 黑 蓝 高 黑 蓝 高 黑 棕 矮 金 棕 决策树学习 决策树(Decision Tree) 一种描述概念空间的有效的归纳推理办法。基于决策树的学习方法可以进行不相关的多概念学习，具有简单快捷的优势，已经在各个领域取得广泛应用。 决策树学习（概述） 决策树学习是以实例为基础的归纳学习。 从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则。 概念分类学习算法：来源于 Hunt,Marin和Stone 于1966年研制的CLS学习系统，用于学习单个概念。 1979年, J.R. Quinlan 给出ID3算法，并在1983年和1986年对ID3 进行了总结和简化，使其成为决策树学习算法的典型。 Schlimmer 和Fisher 于1986年对ID3进行改造，在每个可能的决策树节点创建缓冲区，使决策树可以递增式生成，得到ID4算法。 1988年，Utgoff 在ID4基础上提出了ID5学习算法，进一步提高了效率。 1993年，Quinlan 进一步发展了ID3算法，改进成C4.5算法。 另一类决策树算法为CART，与C4.5不同的是，CART的决策树由二元逻辑问题生成，每个树节点只有两个分枝，分别包括学习实例的正例与反例。 其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于同一类。 决策树学习（概述） 随着决策树学习算法的广泛应用，包括C4.5和CART的各种算法得到进一步改进。 当前比较引人注目的有斜超平面分割的多变决策树(Multi-Variance Decision Tree， MDT)算法，将遗传算法、神经元网络和C4.5相结合的GA-NN-C4.5 算法， SVM决策树算法。 这些改进算法旨在结合各种方案的优势，取得更合理的分类效果，总结出更通用的规则。 决策树学习（概述） 决策树学习采用的是自顶向下的递归方法。 决策树的每一层节点依照某一属性值向下分为子节点，待分类的实例在每一节点处与该节点相关的属性值进行比较，根据不同的比较结果向相应的子节点扩展，这一过程在到达决策树的叶节点时结束，此时得到结论。 从根节点到叶节点的每一条路经都对应着一条合理的规则，规则间各个部分（各个层的条件）的关系是合取关系。整个决策树就对应着一组析取的规则。 决策树学习算法的最大优点是，它可以自学习。在学习的过程中，不需要使用者了解过多背景知识，只需要对训练例子进行较好的标注，就能够进行学习。如果在应用中发现不符合规则的实例，程序会询问用户该实例的正确分类，从而生成新的分枝和叶子，并添加到树中。 决策树学习（决策树） 树是由节点和分枝组成的层次数据结构。节点用于存贮信息或知识，分枝用于连接各个节点。树是图的一个特例，图是更一般的数学结构，如贝叶斯网络。 决策树是描述分类过程的一种数据结构，从上端的根节点开始，各种分类原则被引用进来，并依这些分类原则将根节点的数据集划分为子集，这一划分过程直到某种约束条件满足而结束。 根结点 个子大 可能是松鼠 可能是老鼠 可能是大象 在水里 会吱吱叫 鼻子长 脖子长 个子小 不会吱吱叫 鼻子短 脖子短 可能是长颈鹿 在陆地上 可能是犀牛 可能是河马 决策树学习（决策树） 可以看到，一个决策树的内部结点包含学习的实例，每层分枝代表了实例的一个属性的可能取值，叶节点是最终划分成的类。如果判定是二元的，那么构造的将是一棵二叉树，在树中每回答一个问题就降到树的下一层，这类树一般称为CART（Classification And Regression Tree）。 判定结构可以机械的转变成产生式规则。可以通过对结构进行广度优先有哪些信誉好的足球投注网站，并在每个节点生