支持向量机若干优化算法的比较研究.pdfVIP

支持向量机若干优化算法的比较研究 马义德，邱秀清 兰州大学信息科学与工程学院，甘肃兰州 730000 ） E-mail ：qiuxq05@ 摘 要：支持向量机(SVM)是统计学习理论(SLT)的一种成功实现，它建立在SLT 的VC 维 理论和结构风险最小化原理基础之上，根据有限样本信息在模型复杂度和学习能力之间寻求 一种折中，以期达到最佳的推广性能。本文在简单介绍SVM 基本理论的基础上，研究了现 存的几种变形的支持向量机算法，通过比较它们各自的优缺点，试探性提出了新的支持向量 机算法的发展方向。 关键词：支持向量机(SVM) ，统计学习理论，加权，经验风险 1 引言 支持向量机(SVM)是统计学习理论的新发展，自从被 Vapnik 等人提出以来，在模式识 [1] 别、回归分析等研究领域等到了广泛的应用 。与传统统计学相比，SVM 算法没有以传统 的经验风险最小化原则作为基础，而是建立在结构风险最小化原则之上，是一种新型的结构 化学习方法。 基于惩罚常数的支持向量机有两个相互矛盾的目标，即：最大化间隔和最小化训练错误， 其中惩罚常数C 起着调和这两个目标的作用，但是，C 没有明确的物理意义，所以C 的选 择比较困难。为此支持向量机若干变形算法被提出，例如ScholkopfB 提出的υ−SVM 算法, 就是用另外一个参数υ代替C，而这个参数具有直观的物理意义，此外RSVM ，LS-SVM ， WSVM 等一系列变形支持向量机的算法也被陆续提出，这些变形算法主要是通过增加函数 项，变量，系数等方法使公式变形，产生在某一方面有一定优势或一定应用范围的算法。本 文在简单介绍SVM 基本理论的基础上，研究了现存的几种变形的支持向量机算法，通过比 较他们各自的优缺点，试探性提出了新的支持向量机算法的发展方向。 2 算法描述 [ 2] 2.1 CSVM 算法 n Λ l 给定样本集，x ∈R ，y{ 1∈,1}− ，i ＝1， 和核函数 。K 对应某特征 i i K( x , x ) i j Φ Φ( ,x ( ))x 空间Z 中的内积，即 ＝ ，变换Φ: x →z 将样本从输入空间映 i j K( x , x ) i j 射到特征空间，设计基于SVM 的二值分类器，就是在Z 中寻找一定意义下的最优超