支持向量机和柔性判别-Support-Vector-Machines-and-Flexible-Discriminants.pptVIP

支持向量机和柔性判别

SupportVectorMachinesand

FlexibleDiscriminants

12.1Introduction本章主要讲述关于分类的现行判定边界的推广。对于两个类线性可分的情况，第四章中已经介绍了最佳分离超平面。这里将它扩展到不可分的情况。将第四章所讲的技术推广到支持向量机，通过在一个大的、变换后的特征空间中构造线性边界，支持向量机产生非线性边界。另一种方法集是对费希尔线性判别分析（LDA）的推广，包括柔性判别分析、罚判别分析和混合判别分析12.2TheSupportVectorClassifierN对训练集:超平面（hyperplane)由下式定义：其中β是单位向量，有f(x)导出的分类规则为：超平面的几何形状：由(12.1)中f(x)给出从点x到超平面f(x)的有符号距离由于类是可分的，我们可以找到函数即，能找到超平面，在类1和类-1的训练点之间产生最大的边缘。（见图12.1）对应于最优化问题：M表示图中的带在超平面的两侧距超平面的距离，宽度为2M。图中的带被称为边缘（margin）问题可以更方便地表示为：现在假设类在特征空间内有重叠。处理重叠的一种方法认识极大化M，但允许某些点出现在边缘的错误侧。定义松弛变量（slackvariable）则(12.3)中的约束课修改为：第二种选择能导致“标准的”支持向量分类器，所以一般使用它定义则(12.4)可改写为从(12.7)中，我们可以看到在其边界以内的点对边界形成所起的作用不大。这是它区别与现行判别分析的一个重要特性。在LDA中，判定界限有类分布的协方差和类质心的位置来确定12.2.1ComputingtheSupportVectorClassifier(12.7)可等价地表示为：其中C代表(12.7)中的常量；可分情况相当于C=∞由于问题(12.8)是二次的，具有线性不等式约束，所以是一个凸二次问题。利用拉格朗日乘子法：拉格朗日函数是：对于，我们对其极小化，令各自导数为0，有：和正约束：将3式代入，得到拉格朗日对偶函数：除(12.10)到(12.12)外，Karush-Kuhn-Tucker条件还包括约束：从(12.10)可看出，β的解有如下形式：12.2.2MixtureExample12.3SupportVectorMachinesandKernels迄今为止讨论的支持向量分类器发现了输入特征空间的线性边界。我们可以通过使用基展开，如多项式，来扩大特征空间，从而使过程更加灵活。通常在扩大的特征空间中能较好地事先训练类的分离，并变换成原始空间中的线性边界。一旦选择基函数拟合SV分类器，并产生非线性函数和以前一样，分类器是12.3.1ComputingtheSVMforClassification由(12.3)拉格朗日对偶函数有如下形式：则解函数f(x)可表示成：由于(12.9)和(12.10)仅通过内积涉及h(x),所以不需要制定变换h(x),而只需知道核函数：在SVM文献中，对K的三种流行选择：事实上，一般先选取核函数，在计算它的特征函数从而的到基函数：例：混合数据的两个非线性SVM：左图使用4次多项式核，右图使用径向基核在每种情况下，调整C的取值以近似事先最好检验误差性能，在C=1时，两种情况都做的很好。12.3.2TheSVMasaPenalizationMethod对考虑优化问题：其中下标“+”指出正的部分。它的形式是“损失+罚”对损失函数L(y,f)=[1-yf]，的研究表明，与其他传统的损失函数相比，它对2-类分类是合理的对数似然和损失有相似的尾，对边缘点给予0惩罚，对错误侧和远离点给予线性惩罚。平方误差给出2次罚，并且边缘内的点对模型也有很强影响我们可以根据它们在总体级的估计来刻画三种损失函数的特点，考虑最小化EL(Y,f(X))。汇总结果见下表12.3.3FunctionEstimationandReproducingKernels我们以再生核希尔伯特空间中的函数估计来解释SVM。假设基h是由一个正定核K的(可能是有穷的)的特征展开式产生：则可将(12.25)写成：由5.8节中