人工神经网络讲稿ch4.pptxVIP

第4章BP网络主要内容：BP网络的构成隐藏层权的调整分析Delta规那么理论推导算法的收敛速度及其改进讨论BP网络中的几个重要问题重点：BP算法难点：Delta规那么的理论推导7/9/20251第一页，共四十四页。

4.1概述1、BP算法的出现非循环多级网络的训练算法UCSDPDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了该方法2、弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛3、优点：广泛的适应性和有效性。7/9/20252第二页，共四十四页。

4.2根本BP算法4.2.1网络的构成神经元的网络输入： neti=x1w1i+x2w2i+…+xnwni神经元的输出：7/9/20253第三页，共四十四页。

输出函数分析??0.5f′(net)0.25o01?1（0,0.5）?net（0,0）o应该将net的值尽量控制在收敛比较快的范围内可以用其它的函数作为激活函数，只要该函数是处处可导的7/9/20254第四页，共四十四页。

网络的拓扑结构x1o1输出层隐藏层输入层x2o2omxn…W(1)W(2)W(3)W(L)7/9/20255第五页，共四十四页。

网络的拓扑结构BP网的结构输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力BP网一般都选用二级网络7/9/20256第六页，共四十四页。

网络的拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………WV7/9/20257第七页，共四十四页。

4.2.2训练过程概述样本：(输入向量，理想输出向量)权初始化：“小随机数〞与饱和状态；“不同〞保证网络可以学。1、向前传播阶段：〔1〕从样本集中取一个样本(Xp，Yp)，将Xp输入网络；〔2〕计算相应的实际输出Op： Op=Fl(…(F2(F1(XpW(1))W(2))…)W(L))7/9/20258第八页，共四十四页。

4.2.2训练过程概述2、向后传播阶段——误差传播阶段：〔1〕计算实际输出Op与相应的理想输出Yp的差；〔2〕按极小化误差的方式调整权矩阵。〔3〕网络关于第p个样本的误差测度：〔4〕网络关于整个样本集的误差测度：7/9/20259第九页，共四十四页。

4.2.3误差传播分析1、输出层权的调整wpq=wpq+?wpq?wpq=αδqop =αfn′(netq)(yq-oq)op =αoq(1-oq)(yq-oq)op wpqANpANq第L-1层第L层?wpq7/9/202510第十页，共四十四页。

2、隐藏层权的调整?ANpANqANhvhp δpk-1δ1kwp1wpqδqkwpmδmk第k-2层第k层第k-1层……7/9/202511第十一页，共四十四页。

2、隐藏层权的调整δpk-1的值和δ1k，δ2k，…，δmk有关不妨认为δpk-1通过权wp1对δ1k做出奉献，通过权wp2对δ2k做出奉献，……通过权wpm对δmk做出奉献。δpk-1=fk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)7/9/202512第十二页，共四十四页。

2、隐藏层权的调整vhp=vhp+?vhp?vhp=αδpk-1ohk-2 =αfk-1′(netp)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2 =αopk-1(1-opk-1)(wp1δ1k+wp2δ2k+…+wpmδmk)ohk-2ANpANqANhvhp δpk-1δ1kwp1wpmδqkwpqδmk第k-2层第k层第k-1层……7/9/202513第十三页，共四十四页。

4.2.4根本的BP算法样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}根本思想：逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1)，W(2)，…，W(L)各做一次调整，重复这个循环，直到∑Epε。用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程7/9/202514第十四页，共四十四页。

算法4-1根本BP算法1fork=1toLdo 1.1初始化W(k)；2初始化精度控制参数ε；3E=ε+1;4whileEεdo 4.1E=0;7/9/20