基于PSO的BP神经网络研究.docVIP

基于PSO算法的BP神经网络研究 杜华英 （惠州旅游学校信息技术部，广东 惠州 516057） 摘 要 BP神经网络由于可以根据误差的反向传播来纠正权值和阈值，所以在许多领域取得了成功，但是它有可能陷入局部极小，不能确保收敛到全局极小点。另外，反向传播训练次数多，收敛速度慢，使学习结果有时不能令人满意。如果用均方误差指标作为适应值的粒子群算法对BP网络的权值进行训练，会得到较快的收敛速度，而且可以避免局部最值的出现。 关键词 神经网络；BP网络；PSO优化算法；均方差 The Researching of BP Neural Networks Based on PSO DU Hua-ying1 （Information Technology Office, Huizhou Tourism School, Huizhou 516057 China）For feed-forward neural network ,BP algorithm is among the most important neural network algorithms. But, BP algorithm has its local minima, it also may spend much training time and training epochs, and may also get non-anticipant convergence. Here, BP neural network based on PSO can reduce the training time and training epochs, and the convergence is also improved. Key words ANN；BP neural network；Particle Swarm Optimization PSO ；mean-square error 0 引言 人工神经网络（Artificial Neural Network, ANN）是模仿生物神经网络功能的一种经验模型。生物神经元受到传入的刺激，其作出的反应又从输出端传到相连的其它神经元，输入和输出之间的变换关系一般是非线性的。神经网络是由若干简单元件及其层次组织，以大规模并行连接方式构造而成的网络，按照生物神经网络类似的方式处理输入的信息。模仿生物神经网络而建立的人工神经网络，对输入信号有功能强大的反应和处理能力。BP神经网络是一种多层前向反馈神经网络。BP网络可以根据误差的反向传播来纠正权值和阈值，在许多领域取得了成功，但是它有可能陷入局部极小，不能保证收敛到全局极小点。另外，反向传播训练次数多，收敛速度慢，使学习结果有时不能令人满意。 粒子群优化算法（Particle Swarm Optimizer, PSO）是一种进化计算技术，源于对鸟群捕食的行为研究，由Jim Kennedy于1995年提出并成功用于函数优化。在PSO中，每个优化问题的解都是有哪些信誉好的足球投注网站空间中的一只鸟，称之为粒子。所有的粒子都有一个由被优化的函数决定的适应值（Fitness Value），每个粒子还有一个速度决定它们飞翔的方向和距离。然后粒子们就追随当前的最优粒子在解空间中有哪些信誉好的足球投注网站。如果用粒子群算法对神经网络的权值进行训练，会得到较快的收敛速度，而且可以避免局部最值的出现。 1 PSO算法 PSO算法[1-3]首先初始化一群随机粒子，然后通过迭代找出最优解。每一次迭代过程中，粒子通过跟踪两个“极值”来更新自己。一个是粒子本身所能找到的最优解，即个体极值Pbest， 另一个是整个群体目前找到的最优解，即全局极值Gbest。 假设在一个D维有哪些信誉好的足球投注网站空间中有n个粒子组成一粒子群。其中第i个粒子的空间位置为Xi Xi1,Xi2,…,XiD ,i 1,2,…,n。第i个粒子所经历的历史最佳位置为Pi Pi1,Pi2,…,PiD ，每个粒子的飞行速度为Vi Vi1,Vi2,…,ViD ，i 1,2,…,n。在整个粒子群中，所有Pi所记录的最佳解位置为Pg Pg1,Pg2,…,PgD 。每一代粒子的第d维（1≥d≥D）BP网络是反向传播 Back Propagation 网络。最初由Werbos开发的反向传播训练算法是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出间的最小均方差值。它是一种多层前向网络，采用最小均方差学习方式。当参数适当时，此网络能够收敛到较小的均方差，是目前应用最广的网络之一。它可用于语言综合，识别和自适应控制等用途。 当有信息向网络输入时，信息首先由输入层传至隐层节点，经特性函数作用后，再传至下一隐层，直到最终传至输出层进行输出，其间每经过一层都要由相应的特性函数进行变换，节点的特性函数通常选用S