有监督的学习.ppt

五、感知器学习算法（8）5、说明：感知器算法，如果输入模式是线性可分的，学习后能对输入模式正确分类；如果输入模式本身是线性不可分的，那么学习后的网络不能对输入模式正确分类。第30页，共45页，星期日，2025年，2月5日六、LMS算法(1)1、LMS就是最小均方误差算法。它采用的准则函数是均方误差函数。它通过调整单个神经元的权值，以使误差为最小，其数学基础是误差曲面上的梯度下降。其学习过程也是根据教师信号计算其均方误差，由均方误差调整突触向量，如此反复，最后达到学习的目的。第31页，共45页，星期日，2025年，2月5日六、LMS算法(2)2、权值调整公式：其中为下一次权值向量的取值，为现在的权向量，为现在的输入向量，为现在的误差，为系数，为输入向量的模.第32页，共45页，星期日，2025年，2月5日第1页，共45页，星期日，2025年，2月5日突触动力学Ⅱ：有监督的学习本章内容：一、预备知识二、有监督的函数估计三、监督学习就是有效的训练四、已知类隶属度的监督学习五、感知器、MLS和BP算法第2页，共45页，星期日，2025年，2月5日一、预备知识（1）1、生物神经元模型神经元是脑组织的基本单元，人脑是由大约140多亿个神经元组成的巨系统。神经元的结构如下图所示：第3页，共45页，星期日，2025年，2月5日一、预备知识（2）2、神经元的突触：突触是两个细胞之间连接的基本单元，每个细胞约有个突触。突触主要有两种连接方式：一是一个神经细胞的轴突与另一个神经细胞的树突发生接触；二是一个神经细胞的轴突与另一个神经细胞的胞体接触。第4页，共45页，星期日，2025年，2月5日一、预备知识（3）突触有两种类型：兴奋型和抑制型。突触的界面具有脉冲/电位信号转换功能，它能将沿神经纤维传递的等幅、恒宽、编码的离散脉冲信号，转换为细胞膜可以处理的连续电位信号。第5页，共45页，星期日，2025年，2月5日一、预备知识（4）3、突触动力学：突触能够传递神经冲动。树突从四方收集由其它神经细胞传来的信息，信息流由树突出发，经过细胞体，然后由轴突输出。信息传递在突触处主要是发生化学和电的变化，从而对神经细胞产生一个兴奋或抑制的动力。第6页，共45页，星期日，2025年，2月5日一、预备知识（5）4、人工神经网络的分类：人工神经网络的分类有多种方法，但通常采用如下分类：按网络结构分为：前馈网络和反馈网络；按学习方式分为：监督学习和非监督学习，也叫有导师学习和无导师学习。本章主要论述前馈网络的监督学习算法。第7页，共45页，星期日，2025年，2月5日一、预备知识（6）5、什么是学习？学习就是对信息进行编码,其目的就是通过向有限个例子（训练样本）的学习来找到隐藏在例子背后（即产生这些例子）的规律（如函数形式）。当样本数据改变系统参数时，系统会对这些改变进行自适应或自组织的学习，在神经网络中表现为突触的改变。按突触修正假说，神经网络在拓扑结构固定时，其学习归结为连接权的变化。所以，对固定拓扑的神经网络，学习就是求权值，即突触矩阵。第8页，共45页，星期日，2025年，2月5日一、预备知识（7）6、什么是监督？监督就是对每一个输入Xi,都假定我们已经知道它的期望输出Yi,这个Yi可以理解为监督信号，也叫“教师信号”。对每一个输入Xi及其对其估计的期望输出Yi，就构成了一个训练样本。第9页，共45页，星期日，2025年，2月5日一、预备知识（8）7、学习的种类：学习的种类有四种：死记式学习，学习律，自组织的学习和Hebbian学习律，相近学习。由于监督学习主要使用的是学习律，所以，在此主要介绍学习律。第10页，共45页，星期日，2025年，2月5日一、预备知识（9）8、学习律这种方法是用已知例子作为教师对网络的权进行学习。其规则是通过神经网络理想输出和实际输出之间的误差来修正网络的权值。在很多神经网络中，都采用了这种学习方法，如Perceptron，Adaline和Back-propagation算法等