支持向量机训练算法综述-ibrarian.pdfVIP

支持向量机训练算法综述 姬水旺 姬旺田 陕西移动通信有限责任公司 西安 710082 摘要 训练SVM 的本质是解决一个二次规划问题，在实际应用中，如果用于训练的样本数很 大，标准的二次型优化技术就很难应用。针对这个问题，研究人员提出了各种解决方案，这 些方案的核心思想是先将整个优化问题分解为多个同样性质的子问题，通过循环解决子问题 来求得初始问题的解。由于这些方法都需要不断地循环迭代来解决每个子问题，所以需要的 训练时间很长，这也是阻碍SVM 广泛应用的一个重要原因。本文系统回顾了SVM 训练的 三种主流算法：块算法，分解算法和顺序最小优化算法，并且指出了未来发展方向。 关键词：统计学习理论，支持向量机，训练算法 A Tutorial Survey of Support Vector Machine Training Algorithms Ji Shuiwang Ji Wangtian Shaanxi Mobile Communication Co., LTD Xi’an 710082 Abstract Training SVM can be formulated into a quadratic programming problem. For large learning tasks with many training examples, off-the-shelf optimization techniques quickly become intractable in their memory and time requirements. Thus, many efficient techniques have been developed. These techniques divide the original problem into several smaller sub-problems. By solving these sub-problems iteratively, the original larger problem is solved. All the proposed methods suffer from the bottleneck of long training time. This severely limited the widespread application of SVM. This paper systematically surveyed three mainstream SVM training algorithms: chunking, decomposition, and sequential minimal optimization algorithms. It concludes with an illustration of future directions. Keywords: Statistical Learning Theory, Support Vector Machines, Training Algorithms 姬水旺，男，1977 年出生，陕西府谷人，硕士，研究兴趣：机器学习，模式识别，数据挖掘 1. 简介 支持向量机（Support Vector Machine）是贝尔实验室研究人员V. Vapnik[1][3][12] 等人在对统计学习理论三十多年的研究基础之上发展起来的一种全新的机器学 习算法，也是统计学习理论第一次对实际应用产生重大影响。SVM 是基于统计 学习理论的结构风险最小化原则的，它将最大分界面分类器思想和基于核的方法 结合在一起, 表现出了很好的泛化能力。由于 SVM 方法有统计学习理论作为其 坚实的数学基础，并且可以很好地克服维数灾难和过拟合等传统算法所不可规避 的问题，所以受到了越来越多的研究人