神经网络课件_1.ppt

智能算法及其在数学建模中的应用;;单元一 智能算法简介;;人工智能（Artificial Intelligence, AI）是另一层次的智能，研究如何制造出人造的智能机器或智能系统，来模拟人类的智能活动。 1956年Dartmouth大学研讨会上将“人工智能” 定义为“试图用来模仿与智能有关的人类活动的计算机过程”。 ;传统的人工智能偏重与符号处理与逻辑推理，因此又称为符号智能(Symbolism Intelligence, SI)。 早期符号智能对人工智能的发展起到了重要的推动作用，但随着科技的发展，复杂性问题的大量涌现，这些方法在处理非线性、不确定等复杂性问题时显得无能为力。 计算智能（Computation Intelligence, CI）技术就是在这一背景下发展起来的。 ;;;;单元二 人工神经网络及应用;2.1 ANN基本原理;;;;;;神经纤维传导速度 神经冲动沿神经纤维传导的速度在1~50m/s之间，因纤维特性不同而不同，粗纤维的传导速度在100m/s,细纤维的传导速度可低至每秒数米； 突触延时和不应期 突触对神经冲动的传递具有延时和不应期。在相邻的两次冲动之间需要一个时间间隔，即为不应期，在此期间对激励不响应，不能传递神经冲动； 学习、遗忘和疲劳 由于结构可塑性，突触的传递作用可增强、减弱、饱和，所以细胞具有相应的学习功能，遗忘或疲劳效应。 ;;人工神经元模型;;常见的激励函数;ANN的基本结构;;ANN的基本训练与学习算法;Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则 如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强 a为学习速率，Vi, Vj为神经元i和j的输出 Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形 ;用已知样本作为教师信号对网络进行学习 学习规则可由二次误差函数的梯度法导出 误差校正学习规则实际上是一种梯度方法 不能保证得到全局最优解 要求大量训练样本，收敛速度慢 对样本地表示次序变化比较敏感 ;无监督的学习规则;;反向传播网络(Back-Propagation Network，简称BP网络)是对非线性可微分函数进行权值训练的多层网络 权值的调整采用反向传播(Back-propagation）的学习算法 它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数 输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射;BP网络主要用于下述方面 函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数 模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类； 数据压缩：减少输出矢量维数以便于传输或存储 具有将强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被训练以外的输入 泛化性能只对被训练的输入／输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差;;;;;;;;;;;;;;;;网络的层数 隐含层神经元数 初始权值的选取 学习速率 期望误差的选取 应用举例 局限性;网络的层数;隐含层神经元数;初始权值的选取;学习速率;期望误差值选取;应用举例;目标矢量相对于输入矢量的图形 初始网络的输出曲线 ;训练1000次 2000次;训练3000次 5000次;;限制与不足;BP网络的改进;目标;附加动量法 ;带有附加动量因子的权值调节公式 其中k为训练次数，mc为动量因子，一般取0．95左右 附加动量法的实质是将最后一次权值变化的影响，通过一个动量因子来传递。 当动量因子取值为零时，权值变化仅根据梯度下降法产生 当动量因子取值为1时，新的权值变化则是设置为最后一次权值的变化，而依梯度法产生的变化部分则被忽略掉了 促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，δi将变得很小，于是，Δwij(k+1)≈Δwij (k)，从而防止了Δwij=0的出现，有助于使网络从误差曲面的局部极小值中跳出 ;在MATLAB工具箱中，带有动量因子的权值修正法是用函数learnbpm.m来实现的 trainbpm.m可以训练一层直至三层的带有附加动量因子的反向传播网络 下面是对单层网络使用函数trainbpm.m的情形： [W，B，epochs，errors]＝ trainbpm(W，B，’F’，P，T，TP);自适应学习