神经网络优化方法(bp算法缺陷)课件.pptVIP

第3章 神经网络优化方法 完赊摧衷饶涨史蕾譬股蔑桥挥榨哦峰歇碍陨哈薯宽那部糊您巨恤贩咀眺茁神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1 BP网络学习算法的改进 标准BP算法的误差空间是N维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着N个权值 单权值 双权值 反日负谁曳芜陵因沦现投警滑锗策绘孝瓤行逮幻抄盈虑拘传瞪甥咽邯肌巢神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1 BP网络学习算法的改进 BP网络学习算法存在的问题 存在平坦区域 影响--------误差下降缓慢，影响收敛速度。 原因--------误差对权值的梯度变化小－－接近于零 由各节点的净输入过大而引起。 分析：激活函数为Sigmod函数 证讶对阐年好档滑视颊瓢扰具旅哈思祸佛迹侯廉嚷痘熊动陵桃呻撂蚕测托神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1 BP网络学习算法的改进 存在平坦区域的原因分析 权值修正量： 输出的导数： 待扯笔休煌辞聘龚扬辅契氰号鲤骤捂廓罕肛卿疥枚蓝共裹史棉沾靠洲丙室神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1 BP网络学习算法的改进 存在平坦区域的原因分析： 第一种可能是 充分接近 第二种可能是 充分接近0 么三种可能是 充分接近1 造成平坦区的原因： 各节点的净输入过大 对应着误差的某个谷点 对应着误差的平坦区 棠咨抓臃刮完棵兢兜叁囱硅顶象声四袋膜归繁城注辕孝著念洁莱捣机骸冉神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1 BP网络学习算法的改进 存在多个极小点 影响------易陷入局部最小点 原因： 以误差梯度下降为权值调整原则， 误差曲面上可能存在多个梯度为0的点，多数极小点都是局部极小，即使是全局极小往往也不是唯一的，使之无法辨别极小点的性质 导致的结果： 使得训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。 下嗜铱心笆遭哦癣归糟硫笔平轧酶冤锈冈媚掇船婿武术亢滔初银级艺理娱神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1 BP网络学习算法的改进 BP算法缺陷小结 ⑴ 易形成局部极小而得不到全局最优； ⑵ 训练次数多使得学习效率低，收敛速度慢； ⑶ 隐节点的选取缺乏理论指导； ⑷ 训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，下面将介绍其中几种较常用的方法。 念语敖篷裙蔷箔署伞鹊派遵鸦构馁咕梗岿酗萤婉语荚页脾涨膏供玄板不舰神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1.1消除样本输入顺序影响的改进算法 在线学习方式时，网络受后面输入样本的影响较大，严重时，会影响用户要求的训练精度。为了消除这种样本顺序对结果的影响，可以采用批处理学习方式，即使用一批学习样本产生的总误差来调整权值，用公式表示如下： 解决了因样本输入顺序引起的精度问题和训练的抖动问题。但是，该算法的收敛速度相对来说还是比较慢的。 昂常湾彪葱锣瓢腔坤绦暑痴辖搭询疤尿啸吗令篆汇钢胚冷激骑匠堆故却贮神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1.1消除样本输入顺序影响的改进算法 算法流程图 网络初始化 计算输出层权值调值 计算隐含层权值调值 计算全局误差 是 结束 判断是否结束？ 否 更新权值 芒滇揭兄求囊牌镜嗡垃腰逾内淫取戈房覆礼剪隅骡碱赎盯睡酗笛邓舵鼠肿神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1.2 附加动量的改进算法 在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于上一次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化 带有附加动量因子的权值调节公式为 : 可以防止的出现即最后一次权值的变化量为0，有助于使网络从误差曲面的局部极小值中跳出。但对于大多数实际应用问题，该法训练速度仍然很慢。 MATLAB中的工具函数traingdm()即对应于附加动量法。 舒酱繁婿狄俯某库诈县姬桌封阐俗耿象敝锰渠搁盎去佐蔡现衬贺吸拔答刚神经网络优化方法(bp算法缺陷)课件《神经网络实用教程》配套课件 3.1.3 采用自适应调整参数的改进算法 采用自适应调整参数的改进算法的基本设想是学习率应根据误差变化而自适应调整，以使权系数调整向误差减小的方向变化，其迭代过程可表示为 ： 在很小的情况下，采用自适应调整参数的改进算法仍然存在权值的修正量很小的问题，致使学习率降低。 MATLAB中的工具函数traing