[计算机软件及应用]AI7章智能.pptVIP

第7章 机器学习 7.1 机器学习的基本概念 7.2 记忆学习 7.3 示例学习 7.4 决策树学习 7.5 联结学习 神经学习是一种基于人工神经网络的学习方法。 7.5.1 联结学习的心理学基础 7.5.2 联结学习的学习规则 7.5.3 感知器学习 7.5.4 BP网络学习 7.5.5 Hopfield网络学习 神经生理学研究表明，人脑的神经元既是学习的基本单位，同是也是记忆的基本单位。目前，关于人脑学习和记忆机制的研究有两大学派： 化学学派：认为人脑经学习所获得的信息是记录在某些生物大分子之上的。例如，蛋白质、核糖核酸、神经递质，就像遗传信息是记录在DNA（脱氧核糖核酸）上一样。 突触修正学派：认为人脑学习所获得的信息是分布在神经元之间的突触连接上的。 按照突触修正学派的观点，人脑的学习和记忆过程实际上是一个在训练中完成的突触连接权值的修正和稳定过程。其中，学习表现为突触连接权值的修正，记忆则表现为突触连接权值的稳定。 突触修正假说已成为人工神经网络学习和记忆机制研究的心理学基础，与此对应的权值修正学派也一直是人工神经网络研究的主流学派。 突触修正学派认为，人工神经网络的学习过程就是一个不断调整网络连接权值的过程。 7.5.1 联结学习的心理学基础 所谓学习规则可简单地理解为学习过程中联结权值的调整规则。按照学习规则，神经学习可分为Hebb学习、纠错学习、竞争学习及随机学习等。 Hebb学习的基本思想： 如果神经网络中某一神经元同另一直接与它连接的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度将得到加强，反之应该减弱。 Hebb学习对连接权值的调整可表示为： 其中，wij(t+1)表示对时刻t的权值修正一次后所得到的新的权值； η是一正常量，也称为学习因子，它取决于每次权值的修正量； xi(t)、xj(t)分别表示t时刻第i个和第j个神经元的状态。 Hebb学习规则影响较大，但不符合生物机理。例如习惯化。 7.5.2 联结学习的学习规则 1. Hebb学习规则 纠错学习是一种有导师的学习过程，其基本思想：利用神经网络的期望输出与实际输出之间的偏差作为连接权值调整的参考，并最终减少这种偏差。 最基本的误差修正规则为：连接权值的变化与神经元希望输出和实际输出之差成正比。其联结权值的计算公式为： 其中， wij(t)表示时刻t的权值； wij(t+1)表示对时刻t的权值修正一次后所得到的新的权值； η是一正常量，也称为学习因子 yj(t)为神经元j的实际输出 dj(t)为神经元j的希望输出 dj(t)-yj(t)表示神经元j的输出误差 xi(t)为第i个神经元的输入 7.5.2 联结学习的学习规则 2. 纠错学习规则 7.5.2 联结学习的学习规则 3. 竞争学习规则、4.随机学习 (3) 竞争学习规则 基本思想：网络中某一组神经元相互竞争对外界刺激模式响应的权力，在竞争中获胜的神经元，其连接权会向着对这一刺激模式竞争更为有利的方向发展。 (4) 随机学习规则 基本思想：结合随机过程、概率和能量（函数）等概念来调整网络的变量，从而使网络的目标函数达到最大（或最小）。他不仅可以接受能量函数减少（性能得到改善）的变化，而且还可以以某种概率分布接受使能量函数增大（性能变差）的变化。 单层感知器学习实际上是一种基于纠错学习规则，采用迭代的思想对连接权值和阈值进行不断调整，直到满足结束条件为止的学习算法。 假设X(k)和W(k)分别表示学习算法在第k次迭代时输入向量和权值向量，为方便，把阈值θ作为权值向量W(k)中的第一个分量，对应地把“-1”固定地作为输入向量X(k)中的第一个分量。即W(k)和X(k)可分别表示如下： X(k)=[-1, x1(k), x2(k), …, xn(k)] W(k)=[θ(k),w1(k), w2(k), … ,wn(k)] 即x0(k)=-1，w0(k)=θ(k)。 单层感知器学习是一种有导师学习，它需要给出输入样本的期望输出。 假设一个样本空间可以被划分为A、B两类，定义: 功能函数：若输入样本属于A类，输出为+1，否则其输出为-1。 期望输出：若输入样本属于A类，期望输出为+1，否则为-1。 7.5.3 感知器学习 1. 单层感知器学算法(1/2) 单层感知器学习算法描述： (1) 设t=0，初始化连接权和阈值。即给wi(0)(