12第十二章人工神经网络全解.pptVIP

第12章人工神经网络 ——南昌大学 人工神经网络简介 仿生学动机 　　人工神经网络是模仿人脑的部分机能，所以在学习人工神经网络之前了解人脑的工作原理是很有必要的。 　　众所周知，生物大脑由大量的神经细胞组成，这些神经元相互连接成十分复杂的网络。如图所示：每个神经元由３部分组成，树突、细胞体和轴突。树突是树状的神经纤维接受网络，它将输入的电信号传递给细胞体；轴突是单根长纤维，它把细胞体的输出信号导向其他神经元。 仿生学动机 　　　大量的神经元广泛地连接从而形成网络，神经元的数目、排列拓扑结构以及突触的连接强度决定了生物神经网络的功能。神经元之间利用电化学过程传递信号，一个神经元的输入信号来自另一个神经元的输出，这些神经元的轴突末梢与该神经元树突相遇形成突触。大脑神经元有两种状态：兴奋和抑制。细胞体对这些输入信号进行整合并进行阈值处理。 　　　生物大脑具有很强的学习能力；研究表明：如果一个神经元在一段时间内频繁受到激励，则它的连接强度就会相应的改变，从而使得该神经元细胞再次受到激励是更易兴奋；相反，一段时间内不被激励的神经元的连接有效性会慢慢地衰减。所以，神经元之间的连接强度是可以训练的。 　　　比如人类学习下棋，人通过学习后就可以掌握下棋的诀窍。 人工神经元 　　受生物大脑的仿生学启发，人工神经网络也可以由一系列简单的人工神经元相互连接构成，其中每个神经元同样由３部分组成：输入、人工神经细胞体和输出。每个神经元具有一定数量的实数值输入，并产生一个实数值输出；如图所示。 　　图中所示的是一种称为感知器的人工神经元，有两种状态：１和－１。 　　正如大脑可以通过不断调节神经元之间的连接而达到不断学习进步的目的，ＡＮＮ也可以通过不断调整输入连接上的权值以使得网络更加适应训练集合 ＡＮＮ的应用实例 著名自动驾驶系统ALVINN就是ANN一个典型的应用。该系统使用一个经过训练的ANN以正常的速度在高速公路上驾驶汽车。训练阶段，ALVINN以人类驾驶时摄像机所获取的前方交通状况作为输入（对应于一个30X32像素点阵），以人类通过操作方向盘给的前进方向作为目标输出；在测试阶段，ALVINN用学习到的网络在高速公路上以70英里时速成功地驾驶了90英里。 人工神经网络的理论基础 在学习用于ANN训练的反向传播算法（BP）的学习之前，首先了解用于训练线性单元的梯度下降算法，它构成了反向传播算法的基础。不同的是梯度下降法只是训练一个线性单元，而反向传播算法能够训练多个单元的互联网络。 梯度下降算法 只有两个两个输出的简单人工神经元叫做感知器，一个具有n个实数输入x1,x2,.......,xn的感知器如下图所示。 其中输入向量X=（1，X1，X2，.......，Xn） 权向量W=（W0,W1,W2,..........,Wn） 阈值处理后的结果是： 梯度下降算法 感知器的工作方式与生物神经单元颇为相似，每个输入到细胞体求和单元的连接权值Wi表示在对输入的线性单元组合中各个Xi的贡献大小，但感知器只有1和-1两种输出，所以分类能力有限。 感知器的一种简单的推广就是线性单元，即不带阈值的感知器。一个具有n个输入x1,x2,....,xn的线性单元的输出为 其中输入向量X=（1，X1，X2，.......，Xn） 权向量W=（W0,W1,W2,..........,Wn） 训练线性单元的核心任务就是调整权值w1,w2,.....,wn，使得线性单元对于训练样本的实际输出与训练输出尽可能地接近。 梯度下降算法 为了推导线性单元的权值学习法则，首先必须定义一个度量标准来衡量当前权向量下ANN相对于训练样本的训练误差。常见的度量标准为平方误差准则： D是训练样本集合，td是训练样本d的目标输出，Od是线性单元对于训练样本的实际输出，即O(xd)。E(w)是目标输出和实际输出的差的平方在所有训练样本上求和的1/2倍。因为对于特定的训练集合输入X时固定的，所以E(w)是权向量的函数，明显E是w的二次函数，存在全局最小量。 为了确定一个使E最小化的权向量，我们从任意的初始权向量W0开始，然后以很小的步长反复修改这个权向量，每一次都可以是误差E减小，反复进行这个过程可以找到全局最小值点的权向量W*。 我们希望用越快越好的方法到达我们全局最小值点，但由于能见度有限等原因，我们每次只是试探性的跨出周边区域最陡的一步，在新的位置获得新的视野，也可以找到新的最陡方向，