ai5机器学习.pptVIP

机器学习 Machine Learning Agenda 机器学习概述 归纳学习 决策树学习 基于范例的学习(CBR) 解释学习 强化学习 机器学习概述(1) 什么是机器学习？ 学习是使系统在不断重复的工作中对本身能力的增强和改进，使得系统下一次完成同样或类似的任务时比上一次更有效，即通过对人类学习过程和特点的研究，建立学习理论和方法，并应用于机器，以改进机器的行为和性能。 1、学习是一个过程。学习是经验积累的过程，这个过程可能很快，也可能很漫长； 2、学习是对一个系统而言。这个系统可能是一个计算机系统，或一个人机系统； 3、学习能够改变系统的性能。这只说明对系统性能的改进，但是并未限制改进的方法。 从人工智能的角度看，机器学习是一门研究使用计算机获取新的知识和技能，提高现有计算机求解问题能力的科学 机器学习概述(2) 为什么要研究机器学习？ 必要性： 理解学习的本质和建立学习系统是AI研究的目标之一 现有的大多数AI系统都是演绎的，没有归纳推理，因而不能自动获取和生成知识 可行性： 学习的过程是信息处理的过程，这包括直接记忆和经过推理 已有工作说明可以实现一定程度的机器学习 机器学习概述(3) 机器学习的研究目标和困难 研究目标： 通用学习算法：通过对人类学习过程的研究，探索各种可能的学习算法，建立独立于具体应用领域的通用学习算法。 认知模型：研究人类学习机理的认知模型。 工程目标：解决专门的实际问题，并开发完成这些任务的工程系统 困难： 学习系统性能的预测更加困难 获取知识的本质还是猜想。由特定的观察和类比生成的知识不可能证明其正确性。 机器学习概述(4) 学习的一种模型 环境：外部信息的来源，它将为系统的学习提供有关信息 知识库：代表系统已经具有的知识 学习环节：系统的学习机构，它通过对环境的感知取得外部信息，然后经分析、综合、类比、归纳等思维过程获得知识，生成新的知识或改进知识库的组织结构。 执行环节：基于学习后得到的新的知识库，执行一系列任务，并将运行结果报告学习环节，以完成对新知识库的评价，指导进一步的学习工作,是该模型的核心。 机器学习概述(5) 机器学习的研究大致可以分为三个阶段： 五六十年代的探索阶段： 主要受神经生理学、生理学和生物学的影响，研究主要侧重于非符号的神经元模型的研究，主要研制通用学习系统，即神经网络或自组织系统。 主要成果有： 感知机（Perceptron） Friedberg等模拟随机突变和自然选择过程的程序， Hunt等的决策树归纳程序CLS。 机器学习概述(6) 七十年代的发展阶段： 由于当时专家系统的蓬勃发展，知识获取成为当务之急，这给机器学习带来了契机，主要侧重于符号学习的研究。机器学习的研究脱离了基于统计的以优化理论为基础的研究方法，提出了基于符号运算为基础的机器学习方法，并产生了许多相关的学习系统， 主要系统和算法包括： Winston的积木世界学习系统； Michalski基于逻辑的归纳学习系统AQVAL； Michalski和Chilausky的AQ11； Quinlan的ID3程序 Mitchell的版本空间方法。 机器学习概述(7) 八九十年代至今的鼎盛阶段。 理论研究和应用研究也有了新的突破，机器学习的研究进入了全面的、系统化的时期。 主要成果有： 一方面传统的符号学习的各种方法已日臻完善。Michalski等将AQ11扩充为一个多功能学习系统AQ15，ID3算法中使用了熵，从而使决策树归纳得到了很大的改进。 科学发现系统BACON开辟了无导师学习的两个重要研究领域。 神经网络学习在消沉了一段时期后又重新蓬勃发展起来了，同时计算机硬件技术的高速发展也为开展大规模和高性能的人工神经网络提供了保障，使得基于神经网络的连接学习从低谷走出，发展迅猛。其中Rumelhart等人提出的BP模型，提供了一个训练多层网络的实际可行的方法，克服了Perceptron的大部分局限性。 机器学习概述(8) 另一方面，机器学习的基础理论的研究越来越引起人们的重视。 1984年美国学者Valiant提出了基于概率近似正确性的学习理论（PAC学习），对布尔函数的一些特殊子类的可学习性进行了探讨，将可学习性与计算复杂性联系在一起，并由此派生出了“计算学习理论”（COLT） 我国学者洪家荣教授证明了两类布尔表达式：析取范式和合取范式都是PAC不可学习的，揭示了PAC方法的局限性[ 1995年，Vapnik出版了“统计学习理论”一书。 对PAC的研究是一种理论性，存在