IOA-ANN-3 - 北大未名BBS - 北京大学校园论坛北大人 .pptVIP

第六章 人工神经网络 (III) 内 容 Hopfield NN DHNN CHNN HNN求解TSP 算法改进 算法混合 其它神经网络 John Joseph Hopfield Prof. of Molecular Biology Princeton University, USA 掀起人工神经网络研究第二次热潮！ Hopfield 网络 Hopfield 网络 1982年，Hopfield开创性地在物理学、神经生物学和计算机科学等领域架起了桥梁，提出了Hopfield 反馈神经网络模型(HNN)，证明在高强度连接下的神经网络依靠集体协同作用能自发产生计算行为。 与前向神经网络相比，后者有学习能力；前者具有联想记忆功能和解决优化问题的能力 与前向神经网络比较 BP神经网络 Hopfield神经网络 Hopfield 网络 Hopfield 网络 Hopfield 网络是典型的全连接网络 网络的状态满足一个非线性动力学方程，可表现出丰富的动态特性，如收敛，发散，极限环，混沌等。 Hopfield 网络 Hopfield 网络 在一定的条件下，赋予网络某个初值，系统将迅速演化到某个静止状态，即所谓稳态。 稳态由各个神经元的连接权值确定，并不唯一 从不同的初值出发会演化到不同的稳态 可以构造一个状态的能量函数，并证明稳态对应的能量函数取极小 Hopfield 网络 Hopfield 网络 1985 年Hopfield 和Tank 两人用连续HNN尝试解决TSP ，获得了成功. 其基本思想是把TSP问题映射到CHNN 网络中去, 使用换位矩阵表示有效路径,并设法用网络能量代表路径总长作用于反馈回路调节输入变化, 从而使得网络能量为最小———得到最短路径. 由于Hopfield 网络状态更新规则只能使能量函数往减小的这一个方向变化, 能量函数很容易陷入局部最小值,使得网络解不能够达到路径最优. 所以并不理想！ DHNN 离散型Hopfield 网络采用差分方程描述，输出为二值型，网络采用全连接结构。 令 为各神经元的输出， 为各神经元与第 个神经元的连接权值， 为第 神经元的阈值，则有 DHNN 对称网络 两个神经元相互影响的权重相同 无自反馈网络 神经元对自己的反馈为零 异步更新方式 任意时刻只有一个神经元更新输出，其他神经元不变 同步更新方式 任意时刻所有神经元更新输出（全并行） 任意时刻部分神经元更新输出（部分同步） DHNN 稳定输出 从某个初始输出开始，若存在一个有限时刻, 从该时刻后网络输出不再发生变化，则称网络进入稳定输出。 含有 n 个节点的网络有 2n 种可能输出状态，可以有多个稳定输出 DHNN 随机异步更新方式 任意时刻随机选择一个神经元更新输出，其他神经元不变 优点；算法容易实现，不需要同步机制，避免不同稳态以等概率出现 DHNN 异步更新方式下的能量函数 也是构造一个关于状态的函数，定义其能量为 能量变化量为 这样随着网络的演变，能量总是在下降 DHNN DHNN主要用途是联想记忆 每一种稳定输出对应一种模式，给定一个输出，令网络从其开始演化，则必然收敛到稳定输出，即某个模式上。 稳定输出的个数以及具体值可由网络的连接权值和阈值完全决定，应用的时候就要具体设计它们 CHNN 连续型Hopfield 网络采用微分方程描述，输出取值也为连续型，仍然采用全连接结构。 CHNN Hopfield用模拟电路设计CHNN CHNN 根据电路方程，CHNN的动态方程可简化描述如下： 其中g为Sigmoid函数 CHNN 对称网络 两个神经元相互影响的权重相同 同步更新方式 任意时刻所有神经元更新输出（全并行） CHNN 构造能量函数 容易验证 注：这里实际上给出了如果先有能量函数，如何构造神经元的动态方程的方法 CHNN 能量函数的导数为 CHNN 随时间的增长，神经网络在状态空间中的轨迹总是向能量函数减小的方向变化，且网络的稳定点就是能量函数的极小点。 CHNN求解TSP 利用CHNN求解TSP, 主要包含有两个问题 首先要把TSP的解表达成NN的状态 其次要构造NN的能量函数匹配于TSP的目标函数 TSP 问题回顾 给定n个城市以及两两城市