第五单元机器学习.pptVIP

中南大学 智能系统与智能软件研究所 第5章 机器学习 5.1 机器学习的定义、研究意义与发展历史 5.2 机器学习的主要策略与基本结构 5.3 几种常用的学习方法 5.4 基于神经网络的学习 5.1 机器学习的定义和发展历史 5.1.1 机器学习的定义 机器学习的定义 顾名思义,机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技 能,并识别现有知识的学问。 5.1.2 机器学习的发展史 机器学习的发展分为4个时期 第一阶段是在50年代中叶到60年代中叶，属于热烈时期。 第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期。 第三阶段从70年代中叶至80年代中叶，称为复兴时期。 机器学习的必威体育精装版阶段始于1986年 。 机器学习进入新阶段的表现 机器学习已成为新的边缘学科并在高校形成课程。 综合各种学习方法 机器学习与人工智能问题的统一性观点正在形成。 各种学习方法的应用范围不断扩大。 数据挖掘和知识发现的研究已形成热潮 。 与机器学习有关的学术活动空前活跃 。 5. 2 机器学习的主要策略和基本结构 5.2.1 机器学习的主要策略 按照学习中使用推理的多少，机器学习所采用的策略大体上可分为4种———机械学习、通过传授学习、类比学习和通过事例学习。 机械学习 传授学习策略 类比学习系统 通过事例学习策略 5.2.2 机器学习系统的基本结构 1.学习系统的基本结构 2.影响学习系统设计的要素 影响学习系统设计的最重要因素是环境向系统提供的信息，或者更具体地说是信息的质量。 知识库是影响学习系统设计的第二个因素。知识的表示有特征向量、一阶逻辑语句、产生式规则、语义网络和框架等多种形式。 5.3.1 机械学习 1.机械学习模式 机械学习是最简单的学习方法。机械学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。它是一种最基本的学习过程。 2.机械学习的主要问题 存储组织信息：要采用适当的存储方式，使检索速度尽可能地快。 环境的稳定性与存储信息的适用性问题： 机械学习系统必须保证所保存的信息适应于外界环境变化的需要。 存储与计算之间的权衡：对于机械学习来说很重要的一点是它不能降低系统的效率。 5.3.2 解释学习 解释学习过程和算法 1986年米切尔（Mitchell）等人为基于解释的学习提出了一个统一的算法EBG： EBG求解问题的形式可描述于下: 给定： (1) 目标概念描述TC； (2) 训练实例TE； (3) 领域知识DT； (4) 操作准则OC。 求解： 训练实例的一般化概括，使之满足： (1) 目标概念的充分概括描述TC； (2) 操作准则OC。 5.3.3 基于事例的学习 当无法建立好的模型时，通过记录事例进行学习是一种可取的方法。这时，在信息被应用之前，不对它进行任何处理。采用基于事例的学习方法时，首先，任何时候都可以应用相容启发(consistency heuristic)方法，把某个预先观察过的事物的特性赋给另一个从未见过的新事物。其次，学会如何应用K-维树迅速地找到特征空间内的最近邻物体。 最近邻物体的寻求 (1) 快速串行过程以对数次数求得最近邻物体 (2) 并行硬件更快求得最近邻物体 定义：决策树是一种表示，是一种语义树。树上，(a) 每个节点与一个可能回答集合有关。(b) 每个非终叶节点与某个测试有关，该测试把它的可能回答集合分解为对应于不同测试结果的一些子集。(c) 每个分支把一个具体的测试结果子集传给另一个节点。 定义： k-维树是一种表示，它是一种决策树，树上， (a) 可能回答集合由点组成，其中有个点可能是给定点的最近邻点。 (b) 每个测试规定一个坐标、一个阈值和一个围绕该阈值的不合点的中性区。 (c) 每个测试根据每个点处在阈值的哪一边而把点的集合分为两组。 5.3.4基于概念的学习 　归纳学习(inductive learning)　是研究最广的一种符号学习(symbolic learning)方法，它表示从例子设想出假设的过程。在进行归纳学习时，学习者从所提供的事实或观察到的假设进行归纳推理，获得某个概念。归纳推理是个从部分到全体，从特殊到一般的推理过程。从应用角度看，归纳学习可分为概念学习、概念聚集和启发学习3种。  概念学习(concept learning) 　研究遵循两条不同的路线，即有两种不同的观点。一种是基于工程方法的概念学习，它从可能的学习机理出发(不管这些机理是否存在于生命组