一种新的SVM多类分类算法.pdfVIP

　第 24 卷 第 4 期 　　　　　佳 木 斯 大 学 学 报 ( 自 然 科 学 版 ) 　　 Vol . 24 No . 4 　2006 　年 10 月 　　　　　Journal of Jiamusi University (Natural Science Edition) 　　 Oct . 　2006 ( ) 文章编号 :1008 - 1402 2006 04 - 0476 - 03 一种新的 SVM 多类分类算法 1 2 霍颖瑜 , 　王晓峰 ( 1. 广东佛山科学技术学院理学院 ,广东 佛山 582000 ;2 . 广东北电研发中心 ,广东 广州 510220) ① ( ) 摘 　要 : 　给出了一种基于编码二叉树的支持向量机 SVM ,Support Vector Machine 的多类分类算法. 首 先 ,定义了一种构造编码二叉树的方法 ,在此基础上合理的使用每个训练样本对应的编码来对多类样本进 行划分 ,使之转化为两类分类问题. 由算法的实现过程可以看出 ,本算法可以大大减少子分类器的构造个 数 ,从而简化了多类 SVM 分类算法. 关键词 : 　编码二叉树 ;SVM ;多类分类 中图分类号 : 　TP181 　　　文献标识码 : 　A 　　由Vapnik [ 1 ,2 ] 等人提出的统计学习理论是一 种小样本统计理论 ,主要是针对小样本学习集情况 下的统计规律和学习方法进行研究 ,为机器学习问 题建立了一个较好的理论框架 , 同时也发展了一种 模式识别方法 ———SVM. SVM 的引入主要基于以下 [2 ] ( ) 三大理论基础 : 1 结构误差理论 ,通过最小化函 数集的VC 维来控制学习机器的结构风险 ,使其具 图 1 　最优超平面 有较强的推广能力 ; (2) 结构误差的最小化问题可 这是一个典型的二次规划问题, 可用拉格朗日 以描述为条件二次优化问题 ; (3) 核空间理论 ,将低 乘子法求解, 我们可以得到 SVM 分类函数 : 维空间的输入数据通过非线性映射函数映射到高 l ( ) α( ) ( ) f x = sgn | y i i x ·x i + b | 2 维属性空间. 因此 , SVM 具有很强的泛化能力 , 不 ∑ i = 1 过分依赖样本的数量和质量 ,但是由于 SVM 的发 当两类模式为线性不可分的情况时, 超平面无 展时间并不长 ,还存在着很多缺点和不足. 法将两类样本点分开,Vap nik 应用希尔伯特再生核