数学建模之BP神经网络.pptVIP

人工神经网络是根据人的认识过程而开发出的一种算法。 假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样，当训练结束后，我们给定一个输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。 由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。 需要指出的是，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于较低的水平。 生物神经网 构成： 生物神经元由: 细胞体(Cell body) 树突(Dendrite) 轴突(Axon) 突触(Synapse) 工作过程： 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。 神经元间信息的产生、传递和处理是一种电化学活动。 神经元间的信号通过突触传递。通过它，一个神经元内传送的冲击信号将在下一个神经元内引起响应，使下一个神经元兴奋，或阻止下一个神经元兴奋。 人工神经元 人工神经元是对生物神经元的模拟。 模拟生物神经网络应首先模拟生物神经元：人工神经元(节点)。 从三个方面进行模拟： 节点本身的信息处理能力 节点与节点之间连接(拓扑结构) 相互连接的强度(通过学习来调整) 人工神经元的基本构成： 输入：X=(x1，x2，…，xn) 权系数：W=(w1，w2，…，wn)T 输入与输出具有如下关系： 其中θ为阈值， 是激发函数；它可以是线性函数，也可以是非线性函数． 常见的激活函数有以下几种类型： 1、阶梯函数 2、线性函数 3、非线性：Sigmoid函数 人工神经网络的分类 按网络连接的拓扑结构分类： 层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐含层）和输出层，各层顺序相连 互连型网络结构：网络中任意两个节点之间都可能存在连接路径 按网络内部的信息流向分类： 前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行 反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出 按网络连接的拓扑结构分类： 层次型结构：将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连 单纯型层次型结构 按网络连接的拓扑结构分类： 互连型网络结构：网络中任意两个节点之间都可能存在连接路径 局部互连型 人工神经网络的分类(C.) 按网络内部的信息流向分类： 前馈型网络：网络信息处理的方向是从输入层到各隐层再到输出层逐层进行 前馈型网络 人工神经网络的分类(C.e) 按网络内部的信息流向分类： 反馈型网络：在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外界输出 反馈型网络 建立和应用神经网络的步骤 （1）网络结构的确定 包含网络的拓扑结构和每个神经元相应函数的选取； （2）权值和阈值的确定 通过学习得到，为有指导的学习，也就是利用已知的一组正确的输入、输出数据，调整权值和阈值使得网络输出与理想输出偏差尽量小； （3）工作阶段 用带有确定权值和阈值的神经网络解决实际问题，也叫模拟（simulate）。 神经网络的应用 人工神经网络以其具有自学习、自组织、较好的容错性和优良的非线性逼近能力，受到众多领域学者的关注。在实际应用中，80%～90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型（简称BP神经网络），目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘。 §2 BP神经网络概述 BP算法 BP ( Back Proragation，BP)误差反向传播算法 1986年，Rumelhart 和McCelland领导的科学家小组《Parallel Distributed Processing》一书 它是有指导训练的前馈多层网络训练算法，是靠调节各层的权值，使网络学会由输入输出对组成的训练组。其核心思想是将输出误差以某种形式通过隐含层向输入层逐层反传，即：信号正向传播；误差反向传播 执行优化的方法是梯度下降法 最常用的激活函数是Sigmoid函数 BP算法 BP 网络模型 输入层 隐含层 输出层 BP算法 BP 网络的数学模型 输入向量： X=(x1,x2,…,xi,…,xn)T 隐含层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层