支持向量机及其学习算法.pptVIP

设训练样本输入为，，对应的期望输出为如果训练集中的所有向量均能被某超平面正确划分，并且距离平面最近的异类向量之间的距离最大（即边缘margin最大化），则该超平面为最优超平面（OptimalHyperplane）。最优分类面示意图支持向量SupportVector其中距离超平面最近的异类向量被称为支持向量（SupportVector），一组支持向量可以唯一确定一个超平面。SVM是从线性可分情况下的最优分类面发展而来，其超平面记为：为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足如下约束：可以计算出分类间隔为，因此构造最优超平面的问题就转化为在约束式下求：为了解决这个约束最优化问题，引入下式所示的Lagrange函数：其中为Lagrange乘数。约束最优化问题的解由Lagrange函数的鞍点决定。利用Lagrange优化方法可以将上述二次规划问题转化为其对偶问题，即在约束条件：下对求解下列函数的最大值：如果为最优解，那么：以上是在不等式约束下求二次函数极值问题，是一个二次规划问题（QuadraticProgramming，QP），存在唯一解。根据最优性条件－－Karush-Kühn-Tucker条件（KKT条件），这个优化问题的解必须满足：对多数样本将为零，取值不为零的所对应的样本即为支持向量，它们通常只是全体样本中很少的一部分。求解上述问题后得到的最优分类函数是：在通过训练得到最优超平面后,对于给定的未知样本x，只需计算f(x)即可判断x所属的分类。若训练样本集是线性不可分的，或事先不知道它是否线性可分，将允许存在一些误分类的点，此时引入一个非负松弛变量，约束条件变为:目标函数改为在以上约束条件下求：即折衷考虑最小错分样本和最大分类间隔。其中，C＞0为惩罚因子，控制对错分样本的惩罚程度。线性不可分情况和线性可分情况的差别就在于可分模式中的约束条件中的在不可分模式中换为了更严格的条件。除了这一修正，线性不可分情况的约束最优化问题中权值和阈值的最优值的计算都和线性可分情况中的过程是相同的。支持向量机

（SupportVectorMachine，SVM）在现实世界中，很多分类问题都是线性不可分的，即在原来的样本空间中无法找到一个最优的线性分类函数，这就使得支持向量机的应用具有很大的局限性。但是可以设法通过非线性变换将原样本空间的非线性问题转化为另一个空间中的线性问题。SVM就是基于这一思想的。首先将输入向量通过非线性映射变换到一个高维的特征向量空间，在该特征空间中构造最优分类超平面。由于在上面的二次规划（QP）问题中，无论是目标函数还是分类函数都只涉及内积运算，如果采用核函数(KernelFunction)就可以避免在高维空间进行复杂运算，而通过原空间的函数来实现内积运算。因此，选择合适的内积核函数就可以实现某一非线性变换后的线性分类，而计算复杂度却没有增加多少，从而巧妙地解决了高维空间中计算带来的“维数灾难”问题。此时，相应的决策函数化为：支持向量机求得的决策函数形式上类似于一个神经网络，其输出是若干中间层节点的线性组合，而每一个中间层节点对应于输入样本与一个支持向量的内积，因此也被称作是支持向量网络。支持向量机示意图选择不同的核函数可以生成不同的支持向量机，常有以下几种：（1）线性核函数：（2）多项式核函数：（3）Gauss核函数：（4）Sigmoid核函数：一个具体核函数的例子假设数据是位于中的向量，选择：然后寻找满足下述条件的空间H：使映射从映射到H且满足：可以选择H=R3以及：用图来表示该变换：SVM用于二维样本分类支持向量机与多层前向网络的比较与径向基函数网络和多层感知器相比，支持向量机避免了在前者的设计中经常使用的启发式结构，它不依赖于设计者的经验知识；而且支持向量机的理论基础决定了它