第66节神经网络学习.pptVIP

神经元的输出也称神经元的状态； 所有神经元的状态构成反馈网络的状态 Y； Y = (y1, y2, …, yn) 网络输入就是网络状态的初始值 Y(0)； Y(0)= (x1(0), x2(0), …, xn(0)) 由初始状态，网络开始演化。 yj(t+1) = f (netj) 这里，netj为神经元 j 的净输入， f (·)为神经元的特性函数（也称作用、传递或转移函数）。 y1 y2 yj yn θn x1 x2 xj xn … … … … 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第30页；编辑于星期三\8点37分 常见的特性函数 1 0 f u 1 0 f u 1 0 f u uk 阈值型 S状 (如sigmoid函数) 分段线性 (饱和线性) 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第31页；编辑于星期三\8点37分 对于DHNN，特性函数 f 可以是阈值型 也可以是分段线性型 净输入netj 的计算 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第32页；编辑于星期三\8点37分 DHNN的两种学习方式 串行方式（也称异步方式） 每次调整，只有一个神经元按其净输入调整输出（即状态），而其他神经元保持状态不变； 神经元状态的调整次序可按某种规定次序进行，也可随机选定。 并行方式（也称同步方式） 每次调整，各神经元都按其净输入调整各自的状态。 y1 y2 yj yn θn x1 x2 xj xn … … … … 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第33页；编辑于星期三\8点37分 DHNN可能收敛于某个稳定状态，也可能产生振荡构成极限环； 在串行方式下，为使网络收敛，W 应为对称阵； 在并行方式下，为使网络收敛，W 应为非负定对称阵； 保证给定的样本是网络的吸引子，且有一定的吸引域。 参考：朱大奇, 史慧. 人工神经网络原理及应用. 第3章. 科学出版社, 2006年3月第1版. y1 y2 yj yn θn x1 x2 xj xn … … … … 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第34页；编辑于星期三\8点37分 连续型Hopfield神经网络模型 该模型可表示为下列的非线性微分方程组： ui 是神经元i的膜电位，Ci 和 Ri 分别是输入电容和电阻，Ii 是电路外的输入电流，wij 是神经元i 到神经元j的连接强度，f(u) 是u的非线性函数。 这是一个N输入、N输出的有N组运算放大器的电路，每个运放输出有到各运放输入的反馈通路。 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第35页；编辑于星期三\8点37分 神经网络学习 * 摘自《Talking Nets: An Oral History of Neural Networks》封面 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第1页；编辑于星期三\8点37分 6.6.1 神经网络基础 公元前400年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究； 19世纪末，出现了神经元学说；美国生物学家W. James在《Physiology》一书中提到，“人脑中两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元； 20世纪40年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第2页；编辑于星期三\8点37分 人脑中神经元（神经细胞）的结构 Nucleus：核 Cell body：细胞体 Dentrite：树突 Axon：轴突 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第3页；编辑于星期三\8点37分 神经元之间的电信号传递 轴突后部裂出许多分枝，分枝末端有突触，突触与树突连接； 轴突中的信号经突触转换为“阻止”或“激活”信号； 当神经元的“净输入”超过阈值时，其沿轴突发出信号； 改变突触的效能，神经元之间的影响随之改变，学习就发生了。 突触（神经键） 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第4页；编辑于星期三\8点37分 生物神经元的结构 摘自张仰森《人工智能原理与应用》随书课件 2008-2009学年第1学期 神经网络学习 本文档共50页；当前第5页；编辑于星期三\8点37分 1943年，W.S. McCulloch和W.A. Pitts合作提出了第一个人工神经元模型（M-P模型）； Sum y 0 T 1 f是阈值为T的阶跃函数