第 7 章 支持向量机.pdfVIP

7.2 支持向量机1 第一节 了解SVM 支持向量机，因其英文名为supportvectormachine，故一般简称SVM，通俗来讲，它是一种二类分类 模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化 为一个凸二次规划问题的求解。 7.2.1线性分类 理解SVM，咱们必须先弄清楚一个概念：线性分类器。 分类标准 考虑一个二类的分类问题，数据点用x来表示，类别用y来表示，可以取1或者-1 ，分别代表两个不2 T 同的类，且是一个n 维向量，w 中的T代表转置。一个线性分类器的学习目标便是要在n维的数据空间 中找到一个分类超平面，其方程可以表示为： 1或-1分类标准的起源：logistic 回归 Logistic 回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由 于自变量的取值范围是负无穷到正无穷。因此，使用logistic 函数 （或称作sigmoid函数）将自变量映射到 1 本节新书初稿的第7章第2节，在博客文章《支持向量机通俗导论（理解SVM 的三层境界）》： /v_july_v/article/details/7624837 的基础上优化整理而成，同时，本节主要参考了pluskid所写的支持向量 机系列：/?page_id=68 。后面，本节再经过又一轮的改进优化之后，将收录到今2014年出版的新书中， 有任何反馈或改进意见，欢迎通过微博或博客向我反馈，thanks。July、二零一四年八月十八日。 2 1 -1 1 -1 logistic 可能有读者对类别取 或 有疑问，事实上，这个 或 的分类标准起源于 回归。 (0,1 上，映射后的值被认为是属于y=1 的概率。 假设函数 其中x是n维特征向量，函数g就是logistic 函数。 而 的图像是 可以看到，通过logistic函数将自变量从无穷映射到了(0,1，而假设函数就是特征属于y=1 的概率。 从而，当我们要判别一个新来的特征属于哪个类时，只需求 ，若大于0.5就是y=1 的类，反之属 于y=0类。 再审视一下 ，发现 只和 有关， 0，那么 0.5，g(z 只不过是用来映射，真实的 类别决定权还在 。还有当 0 时， =1，反之 =0。如果我们只从 出发，希望模型达到 的目标无非就是让训练数据中y=1 的特征 0，而是y=0 的特征 0。Logistic 回归就是要学习得到 ，使得正例的特征远大于0，负例的特征远小于0，强调在全部训练实例上达到这个目标。 形式化标示  我们这次使用的结果标签是y=-1,y= 1，替换在logistic回归中使用的y = 0和y = 1。  同时将 替换成w和b。 o 以前的 ，其中认为 ，现在我们替换为b； 后面的 替换为 即 o （ ）。 这样，我们让 进一步 也就是说除了y 由y=0变为y=-1 ， 。 ， 只是标记不同外 与logistic 回归的形式化表示没区别。 ， 再明确下假设函数 上面提到过我们只需考虑 的正负问题，而不用关心g(z ，因此我们这里将g(z 做一个简化，将其简 单映射到y=-1和y=1上。映射关系如下： 7.2.2 线性分类的一个例子 假定现在有一个二维平面，平面上有两种不同的点，分别用两种不同的颜色表示，一种为红颜色的点， 另一种为蓝颜色的点。如果我们要在这个二维