第6章-随机神经网络及模拟退火算法.pptVIP

第6章 随机神经网络及模拟退火算法  6.1 Boltzmann机 6.2 Boltzmann机的改进 6.3 模拟退火算法 6.4 仿真实例 前言 随机神经网络是统计力学思想引入神经网络研究的结果。 统计力学是研究大系统宏观平衡性质的学科，这种大系统的组成元素服从微观机制。统计力学的主要目的是寻找从微观粒子（原子、电子）的运动开始的宏观物体的热力学性质，由于所遇到的自由度数目很大，因此只能使用概率的方法进行研究。 随机神经网络与其他网络的比较： BP网络是一种“贪心”算法，容易陷入局部最小点。 Hopfield网络很难避免出现伪状态，网络是严格按照能量减小的方向运行的，容易陷入局部极小点，而无法跳出。 所以，在用BP网络和Hopfield网络进行最优化的计算时，由于限定条件的不足，往往会使网络稳定在误差或能量函数的局部最小点，而不是全局最小点，即所得的解不是最优解。 网络陷入局部最小点的原因主要有两点： （1）网络结构上存在着输入到输出之间的非线性函数关系，从而使网络误差或能量函数所构成的空间是一个含有多极点的非线性空间。 （2）在算法上，网络的误差或能量函数只能单方向减小，不能有一点上升。 随机神经网络的基本思想： 网络向误差或能量函数减小方向运行的概率大，同时向误差或能量函数增大方向运行的概率存在，这样网络跳出局部极小点的可能性存在，而且向全局最小点收敛的概率最大。 20世纪80年代，Ackley,Hinton 和Sejnowski等人以模拟退火思想为基础，对Hopfield网络引入了随机机制，推出Boltzmann机。 Boltzmann机是第一个受统计力学启发的多层学习机，它是典型的随机神经网络。其命名来源于Boltzmann机在统计力学中的早期工作和网络本身的动态分布行为（其平衡状态服从Boltzmann分布），其运行机制服从模拟退火算法。 6.1 Boltzmann机 6.1.1 Boltzmann机的网络结构 6.1.2 Boltzmann机的工作原理 6.1.3 Boltzmann机的运行步骤 6.1.4 Boltzmann机的学习规则 6.1.1 Boatman机的网络结构 Boltzmann机中单个神经元的运行特性 Boltzmann机中每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入。 神经元i的全部输入信号的总和为ui为： 神经元的输出vi依概率取1或0： vi取1的概率： vi取0的概率： 可见，T越高时，曲线越平滑，因此，即使ui有很大变动，也不会对vi取1的概率变化造成很大的影响；反之，T越低时，曲线越陡峭，当ui有稍许变动时就会使概率有很大差异。即温度高时状态变化接近随机，随着温度的降低向确定性的动作靠近。 当T→0时，每个神经元不再具有随机特性，而具有确定的特性，激励函数变为阶跃函数，这时Boltzmann机趋向于Hopfield 网络。 6.1.1 Boltzmann机的工作原理 Boltzmann机采用下式所示的能量函数作为描述其状态的函数。 将Boltzmann机视为一动力系统，能量函数的极小值对应系统的稳定平衡点，由于能量函数有界，当网络温度以某种方式逐渐下降到某一特定值时，系统必趋于稳定状态Boltzmann机的运行过程就是逐步降低其能量函数的过程。 Boltzmann机在运行时，假设每次只改变一个神经元的状态，如第i个神经元，设vi取0和取1时系统的能量函数分别为0和 ，它们的差值为ΔEi ΔEi的取值可能有两种情况:ΔEi 0或ΔEi 0。 （1）当 ΔEi0即 0 时， 神经元取1的概率： 神经元取0的概率： （2）同理当ΔEi 0时，即 那么 此时 即神经元i的状态取0的可能性比取1的可能 性大。 有一个凹凸不平的盆，要使一个小球稳定在最低的地方，如果把小球轻轻地放入盆中，那么结果必然是小球稳定在距放入地方最近的低洼处。 但是稳定所在的地方并不保证是最低的地方，这一