2014人工神经网络.ppt

人工神经网络绪论 信息工程学院 第4章 智能计算 神经元由细胞体及其发出的许多突起构成。 （1）细胞体：由细胞核、细胞质和细胞膜组成。 （2）树突：胞体上短而多分枝的突起。相当于神经元的输入端，接收传入的神经冲动。 （3）轴突：胞体上最长枝的突起，端部有很多神经末稍传出神经冲动。 （4）突触：神经元间的连接接口，每个神经元约有1万～10万个突触。 神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。 由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。 （5）细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋，此时，细胞膜内外有电位差，称膜电位。 电位膜内为正，膜外为负。 神经元功能——兴奋与抑制 当传入神经元的冲动，经整和，使细胞膜电位升高，超过动作电位的阈值时，为兴奋状态，产生神经冲动，由轴突经神经末稍传出。 当传入神经元的冲动，经整和，使细胞膜电位降低，低于阈值时，为抑制状态，不产生神经冲动。 生物神经元—信息处理单元 生物神经元—信息处理单元 生物神经元—信息处理单元 生物神经元—信息处理单元 生物神经元—信息处理单元 生物神经元—信息处理单元 人工神经元模型 人工神经网络的基本要素是人工神经元。 人工神经元只模拟了生物神经元的三个基本功能： （1）对每个输入信号进行处理，以确定其强度（权值）； （2）确定所有输入信号的组合（加权和）； （3）确定其输出（转移特性）。 上面已指出，一个生物神经元的基本功能是将输入量加权后相加，当加权和超过某一阈值后就产生一定输出。 这点是模拟神经元时所应抓住的基本特征。 信息输入 信息传播与处理：积与和 信息传播 　　　 信息传播与处理：非线性 信息输出 单层感知器不能表达的问题被称为线性不可分问题。 1969年，Minsky(明斯基)证明了“异或”问题是线性不可分问题： “异或”（XOR）运算的定义如下： 异或问题从几何意义上讲，相当于一个正方形有四个顶点，不存在一条直线能将●和●分开的，所以，简单感知器无法实现异或问题。 相关研究表明，线性不可分函数的数量随着输入变量个数的增加而快速增加，甚至远远超过了线性可分函数的个数。 也就是说，单层感知器不能表达的问题的数量远远超过了它所能表达的问题的数量。 当Minsky给出单层感知器的这一致命缺陷时，人工神经网络的研究跌入漫长的黑暗期。 假设输入向量为二维的，可分为两类：一类输人向量全在凸集合R1内；另一类全在R1外。 可以证明，如果应用如图所示的二层感知器网络，则可完成对它们的正确分类。 2、三层感知器 具有两个隐层的三层感知器，可以证明，它可完成对任何非交集合进行分类。 更准确地说，它可对任何由直线边所构成的非交集合进行分类。 现以下图所示的二维输入空间的非凸集合R为例。 图中所示的非凸集合R，若添加一条虚线lc，则R可分解为2个凸集合R1和R2。 误差反向传播神经网络（Back-Propagation Networks） ——BP网络 BP算法 误差反向传播的BP算法简称BP算法。 其基本思想是最小二乘算法。 它采用梯度有哪些信誉好的足球投注网站技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。 第一阶段：正向传播 在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，获得各个单元的实际输出。 第二阶段：反向传播 如果在输出层未能得到期望的输出，则转入反向传播，计算出输出层各单元的一般化误差，然后将这些误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。 网络结构 网络结构 网络结构 反向传播(BP)学习算法 正向＋反向 正向 正向 正向 正向 正向 正向 正向 正向 反向 反向 BP网络的优点 （1）网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。 （2） 网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力； (1)BP算法的学习速度很慢； (2)网络训练失败的可能性较大； (3)难以解决应用问题的实例规模和网络规模间的矛盾； (4)网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定； J(W) J(W) J(W)－－初始状态 梯度下降－－有哪些信誉好的足球投注网站 梯度下降－－有哪些信誉好的足球投注网站 梯度下降－－有哪些信誉好的足球投注网站 梯度下降－－有哪些信誉好的足球投注网站 梯度下降－－有哪些信誉好的足球投注网站 梯度下降－－有哪些信誉好的足球投注网站 梯度下降－－有哪些信誉好的足球投注网站 J(W)－－局部极小点 J(W)－－局部极小点 J(W)－－局部极小点 J(W)－－局部极小点 改进算法 J(W) J(W)－－初始状态 J(W)－－初始状态 改进算法 改进算法 改进算法 改进算法 改进算法 改进算法 改进算法 改进算法 改进算法 改进算法－－有哪些信誉好的足球投注网站