bp实验报告.docVIP

实验内容二 多层感知器分类 一.实验原理 实验数据：1.平面坐标的一些点。 2. IRIS数据。分为三种类型，每种类型中包括50个思维的向量。 实验准备：在每种类型中，选择部分向量作为训练样本。 实验方法：反向传播算法。 算法原理： 误差反向传播算法（BP）是感知器学习规则当前著名发展，其中增加了额外的隐含层（在输入层和输出层之间，它不予外界直接相连）。网络拓扑结构被限定为前向输入：例如，由输入层向第一隐含层(或许只有一层)传输，由第一隐含层向第二隐含层传输，……，或者从最后隐含层向输出层传输，如图1所示，这是一个典型的BP神经网络结构。它包含了三层：输入层，隐含层，输出层。 图1、BP网络结构 网络的运行包括： 前向通道：计算输出层的输出结果和误差 后向通道：输出误差用于调整输出单元的权值。隐含节点的误差也可以得到（通过输出层的权值将误差反向传播），这样隐含层的权值也可以调整了。 每一个数据都被前向通道和后向通道学习。这样不断重复直到误差小到一个允许的范围（或者说我们停止运行）。 BP网络最常用的工作形式是这样的： 权值和阈值随机取为很小的数据 输入训练采样，按下面3)—5）步运行每一采样值 计算网络中每一层的输出 （i） 计算训练误差 ，输出层误差 （ii） ，隐含层和输入层误差 （iii） 修正权值和阈值 （iv） （v） 所有采样值都完成了3)—5）步后，一次训练周期结束。计算误差情况： 7）如果满足E≦e，则结束训练。或者返回步骤2)，开始下一个训练周期。 二．实验过程 1. 异或问题 ⑴.选取（0,0），（1,0），（1,1），（0,1）附近的一些点并按此顺序排列，初始化神经网络的连接权值，学习率，期望误差等变量参数 ⑵．对样本进行训练，通过设定最大训练次数以及最小误差停止训练，并作出误差图形 ⑶．训练结束后，对（0,0），（1,0），（1,1），（0,1）四点进行分类即工作阶段。 （4）．实验结果及分析 误差图形如下： 训练次数期望输出和输出结果： 由误差图形以及输出结果，可以看出，多层感知器能很好地对异或问题进行分类。只要训练次数合理，分类效果会好，以下是不同的训练次数： n=200, 误差图 分类结果： n=500, 误差图： 分类结果： 由此可见，当训练次数在一定范围增加时，误差曲线下降很快，从而是分类结果更加接近期望的输出。通过实验，调整学习率也能使误差曲线快速收敛，但是会出现不稳定的状态。所以学习率要控制一定的范围之类，如本次试验，经过调整学习率在[0.01,0.03]之间较好。 以下是不同学习率的误差曲线： Ir=0.1, Ir=0.07; , 2.对IRIS数据三种类型进行分类 (1).导入数据以及对神经网络的参数变量初始化 （2）.学习阶段，对第一类与第二类前四十个样本进行训练 （3）.对两类数据的后十个进行分类，并显示输出结果。 （4）．实验结果及分析 ①.误差曲线如下： 由此可见随着训练次数的增加，误差越来越小，向零趋近。 ②. 下面是显示结果，由于数据较多，故选取一些，是因为分类结果都差不多 因为期望输出时（0.1，0.9），从结果来看可以判断出是哪一类。 ③. 以下是不同隐层节点数对误差曲线的影响 q=5, q=6, 实验中选取的隐层节点数为4，对比以下可知q=4是效果很好。所以，隐层节点数不是越多越好。 ④. 同理对第一类与第二类，第二类与第三类分类，都能达到很好的效果。对于贝叶斯分类器不能很好分出第二类与第三类，多层感知器也能分出。可见，对于解决非线性问题，多层感知器更优。 四．实验总结 通过实验，积累不少经验，特别是在做多层感知器分类时，获益匪浅，实践是检验理论的真理。对于怎么选取输入层，隐藏层以及输出层节点数，有较深刻的了解，通过编写算法知道要写好一个好程序不容易。在调整权值，学习率，误差方面等对结果影响也较大，需要找到合适的值，才能使分类效果更好。 1