神经网络的学习 - 湖南大学.PPT

隐层神经元数的选择 隐层神经元数的选择是一个十分复杂的问题。因为没有很好的解析式表示，可以说隐层神经元数与问题的要求、输入层与输出层神经元的数量、训练样本的数量等都有直接关系。事实上隐层神经元太少不可能将网络训练出来，但太多又使学习时间过长，使网络不“不强壮”，泛化能力下降，即不能识别以前没有直接接收到的样本，容错性差。 当隐层数为20×10和8×4时的训练结果: 隐层数为2节点数8×4 隐层数为2节点数20×10 图6-2 相同隐层数不同节点数训练误差曲线 神经网络模型的各层节点数分别为：输入层2个；第一隐层12个；第二隐层6个；输出层1个。 综合以上研究内容，建立光催化臭氧氧化处理自来水工艺神经网络模型如图6-3所示。 输入层 输出层 隐层 图6-3 BP网络模型 臭氧浓度 入口UV254 UV254去除率 1．学习率η和动量因子α BP算法本质上是优化计算中的梯度下降法，利用误差对于权、阀值的一阶导数信息来指导下一步的权值调整方向，以求最终得到误差最小。为了保证算法的收敛性，学习率η必须小于某一上限，一般取0η1而且越接近极小值，由于梯度变化值逐渐趋于零，算法的收敛就越来越慢。在网络参数中，学习率η和动量因子α是很重要的，它们的取值直接影响到网络的性能，主要是收敛速度。为提高学习速度，应采用大的η。但η太大却可能导致在稳定点附近振荡，乃至不收敛。针对具体的网络结构模型和学习样本，都存在一个最佳的学习率门和动量因子α，它们的取值范围一般0～1之间，视实际情况而定。在上述范围内通过对不同的η和α的取值进行了考察，确定本文神经网络模型的参数为：η＝0.7，α＝0.9。 2．初始权值的选择 在前馈多层神经网络的BP算法中，初始权、阈值一般是在一个固定范围内按均匀分布随机产生的。一般文献认为初始权值范围为-1～＋1之间，初始权值的选择对于局部极小点的防止和网络收敛速度的提高均有一定程度的影响，如果初始权值范围选择不当，学习过程一开始就可能进入“假饱和”现象，甚至进入局部极小点，网络根本不收敛。初始权、阈值的选择因具体的网络结构模式和训练样本不同而有所差别，一般应视实际情况而定。本文考察了不同初始权、阈值的赋值范围对网络收敛速度的影响，确定本文神经网络模型的初始权和阈值的随机赋值范围为－0.5～+0.5。 3．收敛误差界值Emin 在网络训练过程中应根据实际情况预先确定误差界值。误差界值的选择完全根据网络模型的收敛速度大小和具体样本的学习精度来确定。当Emin 值选择较小时，学习效果好，但收敛速度慢，训练次数增加。如果Emin值取得较大时则相反。本文神经网络的误差界值Emin为0.0001，即在迭代计算时误差值E Emin＝0.0001时，则认为学习完成，停止计算，输出结果。 输入数据的预处理 在BP算法中，神经元具有饱和非线性特征（如果神经元的总输入与阈值相距甚远，神经元的实际输出要么为最大值、要么为最小值）。前馈型静态网络的神经元作用函数的总输入是与其相连的其它神经元输出的加权，在使用BP算法时，要防止神经元进入饱和状态，必须限制与其相连的其它神经元的输出幅值。由于输入层只起数据传送作用，层中的神经元是扇区单元，通常使用线性作用函数(输出等于输入)，不存在饱和状态。第一隐层中的神经元通常采用饱和非线性作用函数，学习过程中会出现饱和现象，因此要防止此层神经元进入饱和，必须限制网络输入的幅值。所以，为减少平台现象出现的可能，加快学习，应对网络的输入样本进行归一化（或称正则化）处理，这也是BP算法必须对输入数据进行预处理的真正原因。本文使用的标准化方法如下： 式中，P为输入量，T为输出量，P/和T/为经过归一化处理后的实验数据。 进水 UV254值 臭氧浓度， mg/L UV254去除率，％ BP网络训练误差曲线和网络模型 实验号 ? 臭氧 ?(mg/L) UV254去除率(%) 相对误差（%） 实测值 网络预测值 1 1.42 58.1 57.3 -1.47 2 2.51 78.8 77.7 -1.47 3 3.21 89.6 90.5 0.96 4 4.29 96.5 97.9 1.45 5 5.24 97.8 97.9 0.14 模型预测结果与实测值比较 　　 O3 浓度，mg/L UV254=0.116 UV254=0.105 O3 浓度，mg/L