神经网络基本模型讲义.pptVIP

3.3 线性不可分问题 *页 3.3.1 异或问题 问题：能否用感知器实现“异或”功能？ “异或”的真值表 x1 x2 y 0 0 0 0 1 1 1 0 1 1 1 0 *页 *页 *页 *页 泛函分析中凸集分离定理是Hahn-Banach定理的几何形式。描述的是在一定条件下，赋范线性空间中的两个互不相交的凸集被连续线性泛函分离。 （分离定理）对平面中的凸 集R与R外的一点K，存在直线 l , l 分离R与K，即R与K分别位于 l 的两侧（注：对一般的凸 集R与R外的一点K，则存在超平面分离R与K），见图。 k l R *页 显然我们不能用一条直线来解决。这就需要多层感知器 。 3.3.2 线性不可分问题的克服 *页 双层感知器 “异或”问题分类 用两计算层感知器解决“异或”问题。 “异或”的真值表 多层感知器 双层感知器 “异或”问题分类 用两计算层感知器解决“异或”问题 “异或”的真值表 多层感知器 双层感知器 “异或”问题分类 用两计算层感知器解决“异或”问题。 “异或”的真值表 多层感知器 双层感知器 “异或”问题分类 例四 用两计算层感知器解决“异或”问题。 “异或”的真值表 多层感知器 多层感知器 如果在输入和输出层间加上一层或多层的神经元(隐层神经元)，就可构成多层前向网络，这里称为多层感知器。  *页 上述三层感知器中，有两层连接权，输入层与隐层单元间的权值是随机设置的固定值，不被调节；输出层与隐层间的连接权是可调节的。这里需指出的是：多层感知器只允许调节一层的连接权。这是因为按感知器的概念，无法给出一个有效的多层感知器学习算法。 *页 对于上面述及的异或问题，用一个简单的三层感知器就可得到解决 实际上，该三层感知器的输入层和隐层的连接，就是在模式空间中用两个超平面去划分样本，即用两条直线： x1+x2=0.5 x1十x 2＝1.5 *页 *页 (3) 设输入向量X=(x1，x2,…，xn)T 则由方程 w1jx1+w2jx2+…+wnj xn–Tj=0 确定了n维空间上的一个分界平面。 输出： sgn(w1jx1+w2jx2+…+wnjxn –Tj) *页 感知器的功能 感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。 *页 线性可分 线性可分是模式识别里的概念。简单的说就是如果用一个线性函数可以将两类样本完全分开，就称这些样本是“线性可分”的。 可以直观想象二维空间划一条直线把两类样本隔开，这两类就称为线性可分样本。 *页 什么叫线性函数呢？在一维空间里就是一个点，在二维空间里就是一条直线，三维空间里就是一个平面，可以如此想象下去，如果不关注空间的维数，这种线性函数还有一个统一的名称——超平面（Hyper Plane）！ *页 实际上，一个线性函数是一个实值函数（即函数的值是连续的实数），而我们的分类问题（例如这里的二元分类问题—回答一个样本属于还是不属于一个类别的问题）需要离散的输出值，例如用1表示某个样本属于类别C1，而用-1表示不属于（不属于C1也就意味着属于C2），这时候只需要简单的在实值函数的基础上附加一个阈值即可，通过分类函数执行时得到的值大于还是小于这个阈值来确定类别归属。 *页 g(x)= wx+b 我们可以取阈值为0，这样当有一个样本xi需要判别的时候，我们就看g(xi)的值。若g(xi)0，就判别为类别C1，若g(xi)0，则判别为类别C2（等于0的时候我们就拒绝判断）。此时也等价于给函数g(x)附加一个符号函数sgn()，即f(x)=sgn [g(x)]是我们真正的判别函数 *页 关于g(x)=wx+b这个表达式要注意三点：一，式中的x不是二维坐标系中的横轴，而是样本的向量表示，例如一个样本点的坐标是(3,8)，则xT=(3,8) ，而不是x=3（一般说向量都是说列向量，因此以行向量形式来表示时，就加上转置）。二，这个形式并不局限于二维的情况，在n维空间中仍然可以使用这个表达式，只是式中的w成为了n维向量（在二维的这个例子中，w是二维向量）；三，g(x)不是中间那条直线的表达式，中间那条直线的表达式是g(x)=0，即wx+b=0，也把这个函数叫做分类面。 *页 1、两类问题 颜色（绿/黄） 似圆度 *页 权空间：以 的权系数为坐标变量的（n+1）维欧氏空间 判别函数形式已定，只需确定权向量。 类：X11，X12，…，X1p 类： X21，X22，…，X