机器学习77991.ppt

于是，得第四代种群S4： s1=11111（31）, s2=11100（28） s3=11000（24）, s4=10000（16） 　 显然，在这一代种群中已经出现了适应度最高的染色体s1=11111。于是，遗传操作终止，将染色体“11111”作为最终结果输出。 　　然后，将染色体“11111”解码为表现型，即得所求的最优解：31。 将31代入函数y=x2中，即得原问题的解，即函数y=x2的最大值为961。 Y Y y=x2 8 13 19 24 X 第一代种群及其适应度 y=x2 12 16 25 27 X Y 第二代种群及其适应度 y=x2 9 19 24 28 X Y 第三代种群及其适应度 y=x2 16 24 28 31 X 第四代种群及其适应度 * 第7章 机器学习 7.1 机器学习的基本概念 7.2 记忆学习 7.3 归纳学习 7.4 解释学习 7.5 神经学习 神经学习是一种基于人工神经网络的学习方法。 7.1.1 神经学习的概念 7.1.2 感知器学习 7.1.3 BP网络学习 7.1.4 Hopfield网络学习 * 神经生理学研究表明，人脑的神经元既是学习的基本单位，同是也是记忆的基本单位。目前，关于人脑学习和记忆机制的研究有两大学派： 化学学派：认为人脑经学习所获得的信息是记录在某些生物大分子之上的。例如，蛋白质、核糖核酸、神经递质，就像遗传信息是记录在DNA（脱氧核糖核酸）上一样。 突触修正学派：认为人脑学习所获得的信息是分布在神经元之间的突触连接上的。 按照突触修正学派的观点，人脑的学习和记忆过程实际上是一个在训练中完成的突触连接权值的修正和稳定过程。其中，学习表现为突触连接权值的修正，记忆则表现为突触连接权值的稳定。 突触修正假说已成为人工神经网络学习和记忆机制研究的心理学基础，与此对应的权值修正学派也一直是人工神经网络研究的主流学派。 突触修正学派认为，人工神经网络的学习过程就是一个不断调整网络连接权值的过程。 7.5.1 神经学习的概念 1. 神经学习的心理学基础 * 所谓学习规则可简单地理解为学习过程中联结权值的调整规则。按照学习规则，神经学习可分为Hebb学习、纠错学习、竞争学习及随机学习等。 (1) Hebb学习 基本思想：如果神经网络中某一神经元同另一直接与它连接的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度将得到加强，反之应该减弱。 Hebb学习对连接权值的调整可表示为： 其中，wij(t+1)表示对时刻t的权值修正一次后所得到的新的权值；η是一正常量，也称为学习因子，它取决于每次权值的修正量；xi(t)、xj(t)分别表示t时刻第i个和第j个神经元的状态。 Hebb学习规则在人工神经网络学习中的影响比较大，但不符合生物机理。例如习惯化。 7.5.1 神经学习的概念 2. 神经学习规则(1/3) * (2) 纠错学习 是一种有导师的学习过程，其基本思想：利用神经网络的期望输出与实际输出之间的偏差作为连接权值调整的参考，并最终减少这种偏差。 最基本的误差修正规则为：连接权值的变化与神经元希望输出和实际输出之差成正比。其联结权值的计算公式为： 其中， wij(t)表示时刻t的权值； wij(t+1)表示对时刻t的权值修正一次后所得到的新的权值；η是一正常量，也称为学习因子；yj(t)为神经元j的实际输出;dj(t)为神经元j的希望输出；dj(t)-yj(t)表示神经元j的输出误差；xi(t)为第i个神经元的输入 7.5.1 神经学习的概念 2. 神经学习规则(2/3) * 7.5.1 神经学习的概念 2. 神经学习规则(3/3) (3) 竞争学习 基本思想：网络中某一组神经元相互竞争对外界刺激模式响应的权力，在竞争中获胜的神经元，其连接权会向着对这一刺激模式竞争更为有利的方向发展。 (4) 随机学习 基本思想：结合随机过程、概率和能量（函数）等概念来调整网络的变量，从而使网络的目标函数达到最大（或最小）。他不仅可以接受能量函数减少（性能得到改善）的变化，而且还可以以某种概率分布接受使能量函数增大（性能变差）的变化。 * 单层感知器学习实际上是一种基于纠错学习规则，采用迭代的思想对连接权值和阈值进行不断调整，直到满足结束条件为