[课件]第九章-人工神经网络问题PPT.pptVIP

第九章人工神经网络问题;人类对人工智能的研究可以分成两种方式对应着两种不同的技术：

传统的人工智能技术—心理的角度模拟

基于人工神经网络的技术—生理的角度模拟

人工神经网络（ArtificialNeuralNetworks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。;1.智能与人工智能

（1）智能的含义

机器的智能：倒立摆

巡航导弹的智能

建筑的智能化——智能建筑

智能交通

……

人工智能（AI）：计算机科学的一个分支

人工情感（ArtificialEmotion）：一种更高层次的智能，在人工智能理论框架下产生的一门高度综合性的科学，它扩展并包容了智能。

……;（2）人工智能

人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。

研究人工智能的目的

增加人类探索世界，推动社会前进的能力

进一步认识自己

三大学术流派

符号主义（或叫做符号/逻辑主义）学派

联接主义（或者叫做PDP）学派

进化主义（或者叫做行动/响应）学派;联接主义观点

核心：智能的本质是联接机制。

神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统

ANN力求从四个方面去模拟人脑的智能行为

物理结构

计算模拟

存储与操作

训练;两种人工智能技术的比较;2.人工神经网络的特点;3.学习（Learning）能力;学习可分为：无导师学习和有导师学习;有导师学习;Delta规则：;4.应用领域;二、人工神经网络的历史;2第一高潮期（1950~1968）;3反思期（1969~1982）;4第二高潮期（1983~1990）;2）1984年，J.Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。

3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。

4）1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP(Back-Propagation)算法，较好地解决了多层网络的学习问题。（Paker,1982和Werbos,1974年）

国???首届神经网络大会是1990年12月在北京举行的。;5再认识与应用研究期（1991~）;三、BP（Back-Propagation）网络;3.1概述;3.2基本BP算法;输出激活函数取对数型s函数;网络的拓扑结构;网络的拓扑结构;3.2.2训练过程概述;2、向后传播阶段——误差传播阶段：

（1）计算实际输出Op与相应的理想输出Yp的差；

（2）按极小化误差的方式调整权矩阵。

（3）网络关于第p个样本的误差测度：;Delta规则：;网络的拓扑结构;设网络结构中输入向量为

输入层的神经元节点数为s；

隐含层的节点数为t，激活函数为f1；

则隐含层第i个节点的输出为;利用梯度下降法求权重的变化以及误差的反传：

（1）输出层权重的变化

从第i个输入到第k个输出的权重的变化：

其中，

若f2采用对数型s函数，则

权重的更新：Wki(t+1)=Wki(t)+?Wki(t);（2）隐含层权重的变化

从第j个输入到第i个输出的权重的变化：

其中，;3.2.3误差传播分析;2、隐藏层权的调整;2、隐藏层权的调整;2、隐藏层权的调整;3.2.4基本的BP算法;算法4-1基本BP算法;3.3算法的改进;算法3-2消除样本顺序影响的BP算法;4.3对S中的每一个样本（Xp,Yp）：

4.3.1计算出Xp对应的实际输出Op；

4.3.2计算出Ep；

4.3.3E=E+Ep；

4.3.4对所有i，j根据相应式子计算?pw(L)ij；

4.3.5对所有i，j：?w(L)ij=?w(L)ij+?pw(L)ij；

4.3.6k=L-1；

4.3.7whilek≠0do

4.3.7.1对所有i,j根据相应式子计算?pw(k)ij；

4.3.7.2对所有i,j：?w(k)ij=?w(k)ij+?pw(k)ij；

4.3.7.3k=k-1

4.4对所有i，j，k：w(k)ij=w(k)ij+?w(k)ij;

4.5E=E/2.0;算法3-2分析;算法3-2分析——冲量设置;3.4算法的实现;算法的