大学生数学建模：神经网络(上).pptVIP

人类大脑的思维活动是人类智能的集中体现。人脑的思维有逻辑思维、形象思维和灵感思维三种基本方式。计算机就是一种用机器模拟人脑逻辑思维的人工智能系统。 现代计算机组成单元的速度是人脑中神经元速度的几百万倍。在数值运算和逻辑运算方面，计算机处理问题的速度和准确度高于人脑。但是计算机却无法解决与形象思维和灵感思维相关的问题。 1.1 生物神经网络简介 生物神经网络 人脑大约由1012个神经元组成，而其中的每个神经元又与约102～104个其他神经元相连接，如此构成一个庞大而复杂的神经元网络。 神经元是大脑处理信息的基本单元，它的结构如图 神经元的激活 神经细胞内外电位之差即静息电位为-70mv，当膜电位比静息电位高出约 20mv，即达到 -50mv时，神经元（细胞）被激活。表现为膜电位急剧上升，在1ms内比静息电位上升100mv，达到30mv，轴突有电流传出。然后，膜电位又急剧下降，回到静息电位。 突触传递信息的功能和特点归纳为： 信息传递有时延 信息的综合有时间累加和空间累加。 突触有兴奋性和抑制性两种类型。 具有脉冲／电位信号转换功能。 神经纤维传导的速度在1-150m／s之间。 存在不应期。 不可逆性。 可塑性，突触传递信息的强度是可变的，即具有学习功能。 存在遗忘或疲劳效应。 用数学和物理方法从信息处理的角度对人脑生物神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（ANN）。 ANN远不是人脑生物神经网络的真实写照，而只是对它的简化、抽象与模拟。 尽管如此，这种简化模型的确能反映出人脑的许多基本特性。 1.3 人工神经网络简史（四个时期） 萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Methematical Biophysics》 1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。 低潮期（ 1969-1982 ） M. L. Minsky和S. Papert，《Perceptron》，1969年 提出了感知器不可能实现复杂的逻辑函数。 “异或”运算不可表示 。 20世纪70年代以来集成电路和微电子技术迅猛发展，传统的冯?诺伊曼型计算机进入发展的全盛时期 自适应共振理论（Adaptive Resonance Theory）和自组织特征映射模型（SOM） 复兴期（ 1983-1900 ） 1982年，J. Hopfield提出循环网络 1984年，J. Hopfield设计研制了Hopfield网的电路。较好地解决了TSP问题，找到了最佳解的近似解，引起较大轰动。 1986年，Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好解决了多层网络的学习问题。 国内首届神经网络大会是1990年12月在北京举行的 1.4 人工神经元模型 人工神经元是人工神经网络操作的基本信息处理单位。 由三种基本元素组成： (1)一组连接 连接强度由各连接上的权值表示。 (2)一个加法器 用于求输入信号对神经元的相应突触加权之和。 (3)一个激活函数 用来限制神经元输出振幅。 另外，可以给一个神经元模型加一个外部偏置，其作用是增加或降低激活函数的网络输入。 非线性函数 单极S型函数 双极S型函数 1.5 神经网络的结构及应用 人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式 根据神经元的不同连接方式，可将神经网络分为两大类： 分层网络 相互连接型网络 分层网络 单纯的前向网络 分层网络 具有反馈的前向网络 分层网络 层内互联的前向网络 相互连接型网络 神经网络的学习 学习算法：学习算法是指针对学习问题的明确规则，不同的学习算法对神经元的权值调整的表达式是不同的。 算法分类 Hebb学习算法 学习算法 随机学习算法 竞争学习算法 学习算法 误差校正学习算法是根据神经网络的输出误差对神经元的连接强度进行修正，属于有导师学习 权值调整公式： 调整目标是使下述公式所表达的误差为最小 随机学习算法 误差学习算法通常采用梯度下降法，因此存在局部最小问题，随机学习算法通过引入不稳定因子来处理这种情况。 经典随机学习算法 模拟退化算法 遗传算法。 竞争学习算法 竞争学习属于无导师算法 神经元通过互相竞争来做出不同的响应 竞争获胜的神经元按规则修正权值 经典竞争学习神经网络 自组织特征映射网络(Self-O