支持向量机与AdaBoost的结合算法研究冰.PDFVIP

第26卷第 1期 计 算 机 应 用 研 究 Vo1．26No．1 2009年 1月 ApplicationResearchofComputers Jan．2009 支持 向量机与AdaBoost的结合算法研究冰 张晓龙 ，任 芳 (武汉科技大学计算机科学与技术学院，武汉 430081) 摘 要：将支持向量机与AdaBoost算法相结合，称其为Boost—SVM。从提升泛化性能和预测精度等方面对支持 向量机的学习算法进行 了研究与比较。Boost—SVM实验结果表明，该算法提高了支持 向量机的预测精度并优化 了学习机 的性能。 关键词：支持向量机；增强法；自适应增强算法；算法优化 中图分类号 ：TP301．6 文献标志码 ：A 文章编号 ：1001—3695(2009)O1—0077—02 StudyoncombinabilityofSVM andAdaBoostalgorithm ZHANG Xiao—long，RENFang (SchoolofComputerScienceTechnology，WuhanUniversityofScienceTechnology，Wuhan430081，China) Abstract：Thispaperdescribedanalgorithm— — Boost—SVM ，whichputSVM intoAdaBoost~amework，tryingtoimprovethe learningaccuracyoftheSVM algorithm．Theexperimentalresultsshow thattheproposedmethodhasa’competitivelearning abilityandacquiresbetteraccuracythanSVM． Keywords：SVM ；Boostingalgorithm ；AdaBoostalgorithm；algorithm optimization 支持 向量机是建立在统计学 习理论 的VC维 (Vapnik— rW 十b≥+1 当Y=+1时 Chervonenkisdimension)理论和结构风险最小化原则基础上的 加【T +6≤一1 当y=一1时 新型机器学习方法。最初于20世纪90年代由Vapnik_l提出， 这样，任意样本点到分类超平面的距离margin=2／llWlIo因 近年来在其理论研究和算法实现方面都取得 了突破性进展。 此使mragin最大的超平面就是最优分类超平面 ，要使分类间 与传统统计学的经验风险最小化 (ERM) 同，支持向量机基 隔2／lIW l【最大 ，就等价于使 J『II／2最小。因此可将构造最 于结构风险最小化 (SRM)原理 J，从而表现出优于已有方法 优超平面的问题转换为拉格朗日函数 ： ， 的性能，成为克服维数灾难和过学习等传统困难的有力手段， (，b，)= Tw／2一 [Y(T +6)一1] (2) 并且迅速引起各领域的注意和研究兴趣，取得了大量的应用研 Y( +6)≥1； 1，2，…，l (3) 究成果 ，推动了各领域的发展。但是，在实际应用支持向量机 对式(2)求其偏导可得其相应的对偶形式： 方法时，经常会遇到不平衡数据集或高精度要求等问题。为保 l