系统辨识研究生期末结课作业-中北大学-余红英老师.docxVIP

BP神经网络定义误差反向传播的BP算法简称BP算法，其基本思想是梯度下降法。它采用梯度有哪些信誉好的足球投注网站技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。BP网络特点是一种多层网络，包括输入层、隐含层和输出层；层与层之间采用全互连方式，同一层神经元之间不连接；权值通过δ学习算法进行调节；神经元激发函数为S函数；学习算法由正向传播和反向传播组成；层与层的连接是单向的，信息的传播是双向的。BP主要应用回归预测（可以进行拟合，数据处理分析，事物预测，控制等）、?分类识别（进行类型划分，模式识别等），但无论那种网络，什么方法，解决问题的精确度都无法打到100%的，但并不影响其使用，因为现实中很多复杂的问题，精确的解释是毫无意义的，有意义的解析必定会损失精度。BP网络各种算法的应用范围Traingd：批梯度下降训练函数,沿网络性能参数的负梯度方向调整网络的权值和阈值；Traingdm：动量批梯度下降函数,也是一种批处理的前馈神经网络训练方法,不但具有更快的收敛速度,而且引入了一个动量项,有效避免了局部最小问题在网络训练中出现；Trainrp：有弹回的BP算法,用于消除梯度模值对网络训练带来的影响,提高训练的速度(主要通过delt_inc和delt_dec来实现权值的改变)；Trainlm：Levenberg-Marquardt算法,对于中等规模的BP神经网络有最快的收敛速度,是系统默认的算法.由于其避免了直接计算赫赛矩阵,从而减少了训练中的计算量,但需要较大内存量.；traincgb：Plwell-Beale算法:通过判断前后梯度的正交性来决定权值和阈值的调整方向是否回到负梯度方向上来；trainscg：比例共轭梯度算法:将模值信赖域算法与共轭梯度算法结合起来,减少用于调整方向时有哪些信誉好的足球投注网站网络的时间。一般来说,traingd和traingdm是普通训练函数,而traingda,traingdx,traingd,trainrp,traincgf,traincgb,trainscg,trainbgf等等都是快速训练函数.总体感觉就是训练时间的差别比较大,还带有精度的差异。实例及其仿真分析（BP网络底层代码的实现）程序%% 读入数据xlsfile=student.xls;[data,label]=getdata(xlsfile);%% 划分数据[traind,trainl,testd,testl]=divide(data,label);%% 设置参数rng(default)rng(0)nTrainNum = 60; % 60个训练样本nSampDim = 2; ? % 样本是2维的%% 构造网络net.nIn=2;net.nHidden = 3; ? ?% 3个隐含层节点net.nOut = 1; ? ? ? % 一个输出层节点w = 2*(rand(net.nHidden,net.nIn)-1/2); ?% nHidden * 3 一行代表一个隐含层节点b = 2*(rand(net.nHidden,1)-1/2);?net.w1 = [w,b];?W = 2*(rand(net.nOut,net.nHidden)-1/2);?B = 2*(rand(net.nOut,1)-1/2);?net.w2 = [W,B];?%% 训练数据归一化mm=mean(traind);?% 均值平移fori=1:2? ? traind_s(:,i)=traind(:,i)-mm(i);?end% 方差标准化ml(1) = std(traind_s(:,1));ml(2) = std(traind_s(:,2));fori=1:2? ?traind_s(:,i)=traind_s(:,i)/ml(i);?end%% 训练SampInEx = [traind_s;ones(1,nTrainNum)];?expectedOut=trainl;eb = 0.01; ? ? ? ? ? ? ? ? ? % 误差容限?eta = 0.6; ? ? ? ? ? ? ? ? ? % 学习率?mc = 0.8; ? ? ? ? ? ? ? ? ? ?% 动量因子?maxiter = 2000; ? ? ? ? ? ? ?% 最大迭代次数?iteration = 0; ? ? ? ? ? ? ? % 第一代?errRec = zeros(1,maxiter);?outRec = zeros(nTrainNum, maxiter);?NET=[]; % 记录% 开始迭代fori = 1 : maxiter?? ? hid_input = net.w1 * SampInEx; ? ? % 隐含层的输入? ? hid_out = logsig(hid_input); ? ? ? % 隐含层的