[工学]第03章 人工神经网络第01部分简介.pptVIP

人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一种描述。 ANN是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 人工神经网络是对人脑的模拟 人工神经元 模拟 生物神经元 人工神经网络 模拟 生物神经网络 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 人工神经元－信息处理单元 (a)阈值型 (b)分段线性型 (c) Sigmoid函数型 (d)双曲正切型 激励函数(Activation Function) 执行对该神经元所获得的网络输入的变换。 激励函数(Activation Function) 执行对该神经元所获得的网络输入的变换。 激励函数(Activation Function) 执行对该神经元所获得的网络输入的变换。 激励函数(Activation Function) 执行对该神经元所获得的网络输入的变换。 激励函数(Activation Function) 执行对该神经元所获得的网络输入的变换。 简单单级网 单级横向反馈网 多级网 层次划分 输入层：被记作第0层。该层负责接收来自网络外部的信息 第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号。 约定 : 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。 循环网 1、BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker完成了相似的工作 1974年，Werbos已提出了该方法 2、弱点：训练速度非常慢、难以逃离局部极小点、算法不一定收敛。 3、优点：广泛的适应性和有效性。 样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)} 基本思想 ： 逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1) ，W(2) ，…，W(L)各做一次调整，重复这个循环，直到∑Epε。 用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程。 网络的拓扑结构 网络的拓扑结构 2、分段线性函数（Ramp Function） 1 -1 3.3 神经网络模型 第三章 人工神经网络 3、Sigmoid函数（S型函数、 Logistic Function ） a＋b a a＋b/2 3.3 神经网络模型 第三章 人工神经网络 最常用的 激励函数 1 0 3、Sigmoid函数（S型函数、 Logistic Function ） 3.3 神经网络模型 第三章 人工神经网络 … … x1 x2 … xn o1 o2 om wnm w11 w1m w2m wn1 输出层 输入层 3.3 神经网络模型 第三章 人工神经网络 单纯层次型结构 3.3 神经网络模型 第三章 人工神经网络 网络拓扑结构 输出层 x1 o1 w11 w1m x2 o2 w2m … … … xn om wn1 输入层 V 3.3 神经网络模型 第三章 人工神经网络 输出层 隐藏层 输入层 o1 o2 om … x1 x2 xn … … … … … … 3.3 神经网络模型 第三章 人工神经网络 输出层 隐藏层 输入层 o1 o2 om … x1 x2 xn … … … … … … 3.3 神经网络模型 第三章 人工神经网络 输出层 隐藏层 输入层 o1 o2 om … x1 x2 xn … … … … … … 3.3 神经网络模型 第三章 人工神经网络 W(1) W(2) W(3) W(h) 3.3 神经网络模型 第三章 人工神经网络 输出层 隐藏层 输入层 o1 o2 om … x1 x2 xn … … … … … … x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … …