支持向量机通俗导论（理解SVM的三层境界）带完整书签版本.pdfVIP

支持向量机通俗导论（理解SVM 的三层境界） 作者：July、pluskid 致谢：白石、JerryLead 本 PDF 制作者：吴新隆 联系作者：/julyweibo 出处：/v_july_v 二零一三年十二月六日于天通苑 前言 动笔写这个支持向量机 (support vector machine)是费了不少劲和困难的， 原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少 时间和精力，二者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了(见 文末参考链接)，但在描述数学公式的时候还是显得不够。得益于同学白石的数 学证明，我还是想尝试写一下，希望本文在兼顾通俗易懂的基础上，真真正正能 足以成为一篇完整概括和介绍支持向量机的导论性的文章。 本文在写的过程中，参考了不少资料，包括《支持向量机导论》、《统计学 习方法》及网友 pluskid 的支持向量机系列等等，于此，还是一篇学习笔记，只 是加入了自己的理解和总结，有任何不妥之处，还望海涵。全文宏观上整体认识 支持向量机的概念和用处，微观上深究部分定理的来龙去脉，证明及原理细节， 力求逻辑清晰 通俗易懂。 同时，阅读本文时建议大家尽量使用 chrome 等浏览器，如此公式才能更好 的显示，再者，阅读时可拿张纸和笔出来，把本文所有定理.公式都亲自推导一 遍或者直接打印下来（可直接打印网页版或本 PDF，享受随时随地思考、演算的 极致快感），在文稿上演算。 Ok，还是那句原话，有任何问题，欢迎任何人随时不吝指正 赐教，感谢。 第一层、了解 SVM 1.0、什么是支持向量机 SVM 要明白什么是 SVM，便得从分类说起。 分类作为数据挖掘领域中一项非常重要的任务，它的目的是学会一个分类函 数或分类模型 (或者叫做分类器)，而支持向量机本身便是一种监督式学习的方法 (至于具体什么是监督学习与非监督学习，请参见此系列 Machine LData Mining 第一篇)，它广泛的应用于统计分类以及回归分析中。 支持向量机（SVM）是90 年代中期发展起来的基于统计学习理论的一种机器 学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置 信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律 的目的。 通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最 大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个 凸二次规划问题的求解。 对于不想深究 SVM 原理的同学或比如就只想看看 SVM 是干嘛的，那么，了解 到这里便足够了，不需上层。而对于那些喜欢深入研究一个东西的同学，甚至究 其本质的，咱们则还有很长的一段路要走，万里长征，咱们开始迈第一步吧，相 信你能走完。 1.1、线性分类 OK，在讲 SVM 之前，咱们必须先弄清楚一个概念：线性分类器 (也可以叫做 感知机，这里的机表示的是一种算法，本文第三部分、证明 SVM 中会详细阐述)。 1.1.1、分类标准 这里我们考虑的是一个两类的分类问题，数据点用 x 来表示，这是一 个 n 维向量，w^T 中的T 代表转置，而类别用 y 来表示，可以取 1 或者 -1 ， 分别代表两个不同的类。一个线性分类器的学习目标就是要在 n 维的数据空 间中找到一个分类超平面，其方程可以表示为： 上面给出了线性分类的定义描述，但或许读者没有想过：为何用 y 取 1 或者 -1 来表示两个不同的类别呢？其实，这个 1 或-1 的分类标准起源于 logistic 回归，为了完整和过渡的自然性，咱们就再来看看这个 logistic 回归。 1.1.2、1 或-1 分类标准的起源：logistic 回归 Logistic 回归目的是从特征学习出一个0/1 分类模型，而这个模型是将特性 的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用 logistic 函数（或称作 sigmoid 函数）将自变量映射到(0,1)上，映射后的值被 认为是属于 y=1 的概率。 形式化表示就是