人工智能第9章id3算法.pptVIP

有导师学习：在训练时，预先知道学习目标，并据此来修正权值。 强化学习：用一种表示奖惩的全局信号来衡量与强化输入相关的局部决策。 无导师学习：网络通过自组织调整，学习并给出一定意义下的输出相应。 * 画图 * 图 9-18 BP网络举例 　　用样本数据按BP算法对该网络进行训练,训练结束后, 网络就可作为一种模式分类器使用。因为网络的输出向量(1, 0, 0)、 (0, 1, 0)、(0, 0, 1)可以表示多种模式或状态。如可以分别表示凸、凹和直三种曲线, 或者三种笔划, 也可以表示某公司的销售情况：高峰、低谷和持平等等。当然,要使网络有很好的模式分类能力, 必须给以足够多的样例使其学习, 本例仅是一个简单的示例。 9.3.6　神经网络模型 神经网络模型,它是关于一个神经网络的综合描述和整体概念,包括网络的拓扑结构、输入输出信号类型、 信息传递方式、神经元特性函数、学习方式、学习算法等等。 　截止目前, 人们已经提出了上百种神经网络模型, 表9.4简介了最著名的几种。 表 9.4 一些著名的神经网络模型 深度神经网络简介 在监督学习中，以前的多层神经网络的问题是容易陷入局部极值点。同时由于很多任务难以得到足够多的标记样本，在这种情况下，简单的模型，比如线性回归或者决策树往往能得到比多层神经网络更好的结果。 非监督学习中，以往没有有效的方法构造多层网络。多层神 经网络的顶层是底层特征的高级表示，比如底层是像素点，上一层的结点可能表示横线，三角； 而顶层可能有一个结点表示人脸（人脑的工作方式）。一个成功的算法应该能让生成的顶层特征最大化的代表底层的样例。但如果对所有层同时训练，时间复杂度会太高； 如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合。 2006年，Hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优使原始表示x向上生成的高级表示r和该高级表示r向下生成的x尽可能一致。方法是 1，首先逐层构建单层神经元，这样每次都是训练一个单层网络。 2，当所有层训练完后，Hinton使用wake-sleep算法进行调优。向上的权重用于”认知“，向下的权重用于”生成“。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸，那么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒(wake)和睡(sleep)两个部分。 2.1，wake阶段，认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。也就是“如果现实跟我想像的不一样，改变我的权重使得我想像的东西就是这样的“。 2.2，sleep阶段，生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念“。 9.4 知识发现与数据挖掘 知识发现(Knowledge Discovery in Database, KDD)，是所谓“数据挖掘”的一种更广义的说法，即从各种媒体表示的信息中，根据不同的需求获得有效的、新颖的、潜在有用的知识，以及最终可理解的模式的非平凡过程.知识发现将信息变为知识，从数据矿山中找到蕴藏的知识金块，将为知识创新和知识经济的发展作出贡献。 9.4.1 知识发现的一般过程 　　1. 数据准备 数据准备又可分为三个子步骤: 数据选取、 数据预处理和数据变换。 数据选取就是确定目标数据, 即操作对象, 它是根据用户的需要从原始数据库中抽取的一组数据。数据预处理一般可能包括消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换等。数据变换的主要目的是消减数据维数, 即从初始特征中找出真正有用的特征以减少数据开采时要考虑的特征或变量个数。 　　2. 数据挖掘 1.确定开采的任务或目的是什么, 如数据总结、分类、聚类、关联规则或序列模式等。 2.决定使用什么样的开采算法。同样的任务可以用不同的算法来实现, 选择实现算法有两个考虑因素: 一是不同的数据有不同的特点, 因此需要用与之相关的算法来开采; 二是用户或实际运行系统的要求。 　　 　　3. 解释和评价 　　数据挖掘阶段发现出来的知识模式中可能存在冗余或无关的模式, 所以还要经过用户或机器的评价。若发现所得模式不满足用户要求,则需要退回到发现阶段之前,如重新选取数据,采用新的数据变换方法, 设定新的数据