神经网络实用教程课件作者张良均曹晶2.10Boltzmann神经网络模型与学习算法.pptVIP

2.10? Boltzmann神经网络模型与学习算法 概述 Ackley、Hinton和Sejnowski等人以模拟退火思想为基础，对Hopfield模型引入了随机机制，提出了Boltzmann机。 概述 Boltzmann机是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络，属于反馈神经网络类型 其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为 Boltzmann机结合BP网络和Hopfield网络在网络结构、学习算法和动态运行机制的优点 2.10.1 Boltzmann机的网络结构 Boltzmann机由输入部、输出部和中间部构成 2.10.1 Boltzmann机的网络结构 输入部和输出部神经元统称为显见神经元，是网络与外部环境进行信息交换的媒介，中间部的神经元称为隐见神经元，它们通过显见神经元与外界进行信息交换 每一对神经元之间的信息传递是双向对称的，即 而且自身无反馈，即 。 显见神经元将被外部环境“约束”在某一特定的状态，而中间部隐见神经元则不受外部环境约束。 2.10.1 Boltzmann机的网络结构 Boltzmann机神经元模型 每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入 图中 表示与神经元 相连接的神经元的输出 2.10.1 Boltzmann机的网络结构 神经元的全部输入信号的总和为，由下式给出 为神经元的阈值,并其将看作连接权值为1的输入，可以将归并到总的加权和中去，即得到下式 神经元的输出依概率取1或0： 越大，则 取1的概率越大，而取0的概率越小 2.10.1 Boltzmann机的网络结构 温度 的作用 如图所示， 越高时，曲线越平滑，即使 有很大变动，也不会对 取1的概率变化造成很大的影响；反之， 越低时，曲线越陡峭，当 有稍许变动时就会使概率有很大差异，当 趋向于0时，每个神经元不再具有随机特性，激励函数变为阶跃函数，这时Boltzmann机演变为Hopfield网络 2.10.2 Boltzmann机学习算法 算法原理 Boltzmann机可视为一动力系统，其能量函数的极小值对应系统的稳定平衡点 将待求解的优化问题的目标函数与网络的能量函数相对应，神经网络的稳定状态就对应优化目标的极小值 算法分类 状态更新算法 用于解决优化组合问题 联想记忆算法 用于解决依照一定概率重现记忆的问题 2.10.2 Boltzmann机学习算法 状态更新算法 （1）网络初始化 给和赋[-1，1]之间的随机数，置，设定目标温度的值。 （2）求解内部状态 从个神经元中随机选取一个神经元，根据下式求解出神经元的输入总和，即内部状态。 （3）更新神经元状态 根据下面公式更新神经元的状态： 2.10.2 Boltzmann机学习算法 （4）除 外的神经元的输出状态保持不变 即除 外的神经元的状态由下面公式求解得出： （5）令 ，按照下式计算出新的温度参数： （6）第5步计算出的温度参数是否小于目标温度，小于目标温度则算法结束，否则返回（2），进入下一轮计算。 Boltzmann机学习算法的MATLAB实现 在MATLAB的工具箱中，没有Boltzmann神经网络的相关函数，在学习完第4章后，根据自己的需要，利用MATLAB中的数学计算函数来扩展nnToolKit工具包，实现Boltzmann神经网络的学习算法，完成特定的需要。 小结 概述 Boltzmann机的网络结构 Boltzmann机的学习算法 Boltzmann机与Hopfield网络的关系 谢谢！ 尚辅网 / Geoffrey Hinton David H. Ackley Richard Szeliski 横坐标表示概率，纵坐标表示神经元的输入总和