Bp神经网络讲诉.ppt

Example 1 BP Neural network Data Read data clear all; fid = fopen(‘crabdata.txt); C = textscan(fid,%f%f%f%f%f%f%s); % Import data fclose(fid); P = [C{1} C{2} C{3} C{4} C{5} C{6}]; P=P; female = strncmpi(C{7}, Female, 1); male = strncmpi(C{7}, Male, 1); T = double([female male]); Training data, test data T=T; P1=P(:,1:150); T1=T(:,1:150); P2=P(:,151:200); T2=T(:,151:200); Crab data Target data Create BP network net=newff(P1,T1,10); % Create a new feed forward network net.trainParam.show = 50; net.trainParam.epochs = 2000; net.trainParam.goal = 1e-3; [net,tr] = train(net,P1,T1); Test data out = sim(net,P2); [y_out,I_out] = max(out); [y_t,I_t] = max(T2); Result diff=I_out-I_t; co=length(find(diff==0)); fprintf(Percentage Correct classification : %f%%\n, co/50); Create RBF network net=newrb(P1,T1,1e-3,3); net=newrbe(P1,T1,4); out=sim(net,P2); [y_out,l_out]=max(out); [y_t,l_t]=max(T2); diff=l_out-l_t; co=length(find(diff==0)); fprintf(Percentage Correct classification : %f%%\n, co/50); 梯度下降法是一个最优化算法，通常也称为最速下降法 有关梯度下降法的描述 梯度下降法，基于这样的观察：如果实值函数 在点 处可微且有定义，那么函数 在 点沿着梯度相反的方向 下降最快。 因而，如果 对于 为一个够小数值时成立，那么 。 考虑到这一点，我们可以从函数 的局部极小值 的初始估计 出发，并考虑如下序列 使得 因此可得到 如果顺利的话序列 收敛到期望的极值。注意每次迭代步长 可以改变。 下侧的图片示例了这一过程，这里假设 定义在平面上，并且函数图像是一个碗形。蓝色的曲线是等高线(水平集)，即函数 为常数的集合构成的曲线。红色的箭头指向该点梯度的反方向。（一点处的梯度方向与通过该点的等高线垂直）。沿着梯度下降方向，将最终到达碗底，即函数 值最小的点。 牛顿法 解方程问题： 牛顿法最初用于求解方程根 f(x) = 0 首先得到一个初始解 x0， 一阶展开：f(x) ≈ f(x0)+(x－x0)f(x0) 令 f(x0)+(x－x0)f(x0) = 0 求解得到x，相比于x0，f(x)f(x0) 牛顿法 最优化问题中，牛顿法首先则是将问题转化为求 f‘(x) = 0 这个方程的根。 首先得到一个初始解 x0， 一阶展开：f ’(x) ≈ f ‘(x0)+(x－x0)f ’(x0) 令 f ‘(x0)+(x－x0)f ’(x0) = 0 求解得到x，相比于x0，f ‘(x)f ’(x0) 最小化f（x）之高维情况： 梯度代替了低维情况中的一阶导 Hessian矩阵代替了二阶导 求逆 代替了除法 梯度下降法（绿色）总是沿着当前点最快下降的方向（几乎垂直于等高线），相当于贪心算法。 牛顿法利用了曲面本身的信息，能够更直接，更快的收敛。 高斯牛顿法 高斯牛顿法实际上是牛顿法的在求解非线性最小二乘问题时的一个特例 目标函数： 该函数是趋于0的，所以直接使用高维的牛顿法来求解。 迭代公式： 和牛顿法中的最优化问题高维迭代公式一样 目标函数可以简写： 梯度向量在方向上的分量： （1） Hessi