第一讲 神经网络基本原理.pptVIP

若令u1=0，则可求出该直线在u2 轴上的截距： 同样，若令u2=0，则可求出该直线在u1轴上的截距： (当　　　时) (当　　　时) 由上式可得单神经元感知器的类别界限如图1.11。当　　　，　　　　　时或当　　　，　　　　　时，感知器输出　　　；反之，感知器输出　　　。 图1.11 感知器神经网络—感知器模型 对于三输入单神经元感知器，其类别界限为： 若将　、　、　和　看作为确定的参数，那么上式相当在三空间(u1,u2,u3)中定义了一个平面，该平面将输入模式分为两类。三点决定一个平面，为了获得这个平面，同样需要找出该平面与空间坐标轴的交点。 若令　　　　　，由上式可求出该平面在　 轴上的截距： (当　　　　　时) 令　　　　　，由上式可求出该平面在　 轴上的截距： (当　　　　　时) 令　　　　　，由上式可求出该平面在　 轴上的截距： (当　　　　　时) 以上三点确定的平面即感知器的类别界限，该平面一侧的输入向量对应的输出为0，而另一侧的输入向量对应的输出则为1。 感知器神经网络—感知器模型 多神经元感知器模型 由于单神经元感知器的输出只有0或1两种状态，所以只能将输入模式分为两类。而事实上输入向量模式的种类可能有许多种，为了将它们有效地分开，需要建立由多个神经元组成的感知器，其结构如右图。 当单神经元感知器的输入为 n (　　)时，其类别界限为对于在 n 维向量空间上的线性可分模式，通过一个 n 输入的单神经元感知器一定可以找到一个超平面，将该模式分为两类。 感知器神经网络—感知器模型 图所示的神经网络输出为 其中：　　　　　　　　　是感知器网络的输出向量； 　　　　　　　　　　　　　是各神经元间的连接权系数矩阵； 是感知器网络的输入向量； 是感知器网络的阈值向量； 是感知器神经网络中的作用函数 感知器神经网络—感知器模型 对于多神经元感知器而言，每个神经元都有一个类别界限。那么第 i 个神经元的类别界限为： 其中：　　　　　　　是输入向量ui与第 i 个神经元的连接权值； 是第 i 个神经元的阈值； 多神经元感知器可以将输入向量分为许多类，每一类由不同的向量表示。由于输出向量的每个元素可以取0或1两个值，所以一个由 m 个神经元构成的感知器网络最多可以区分出　 种输入模式。 感知器神经网络—感知器模型 感知器神经网络—感知器的学习 感知器的学习实质是通过改变输入向量与神经元的连接权值或神经元的阈值，使感知器具有能够正确区分目标数据的能力。可以看出，感知器的学习属于有监督学习。设有 P 组样本数据为： 其中　是第i组样本输入向量；是该输入相应的目标输出(i={1,2,…,P}) 当输入向量　作用到感知器网络时，其实际输出为　。在感知器网络尚未训练的情况下， 可能与　相差甚远。感知器学习就是通过调整权系数和阈值，使其实际输出　逐步逼近目标输出　。 Frank Rosenblatt的主要贡献在于提出了训练神经网络用于解决模式识别问题的学习规则。他证明了只要求解问题的权值存在，那么其学习规则通常会收敛到正确的网络权值上。整个学习过程较为简单，而且是自动的。只要把反映网络行为的样本数据对提交给网络，网络就能够根据样本数据从随机初始化的权值和偏置值开始自动地进行学习。 下面根据样本数据，讨论感知器的学习过程。设有样本数据为： 单神经元感知器的学习过程 ， ， 上面的样本数据对可以在平面坐标上表示出来。 图中目标输出为0的两个输入向量用空心圆〇表示，目标输出为1的输入向量用实心圆●表示。 感知器神经网络—感知器的学习 根据感知器性能分析结果可知，欲对样本数据实现有效分类，感知器网络应该有两个输入和一个输出。为了简化学习过程，取感知器的神经元没有阈值。这样，需要调整的参数只有w1 和w2两个，见图1.12。 由前面讨论可知，当θ=0时，类别界限为 感知器神经网络—感知器的学习 由上式可知，感知器的类别界限一定穿过坐标轴的原点，而且权值向量w和输入向量u是正交的。为了保证感知器能够有效将　和　，　区分开，必须找到一条合适的类别界限。由图可以看出，实际上有无数条类别界限可供选择。 对于图 1.13中的单神经元感知器，在开始训练时需要为其赋初始权值。这里将 　的两个元素设置为如下的两个随机数： 感知器神经网络—感知器的学习 现在将样本数据中的输入向量提供给感知器。首先将　送入： 即感知器的实际输出　　 ，而样本输入向量　的目标值　　 ，说明感知器没有给出正确的值。这是因为当　　　　　　　时，根据式得到的类别界限直线为： 感知器神经网络—感知器的学习 类别界限　　　　　　及权值向量　　　　　　　在平面坐标系上位置见图 使其逐渐