哈理工支持向量机引导课件.pptVIP

* 哈尔滨理工大学网络信息中心 * 核函数 Mercer条件 对于任意的对称函数K(x, x)，它是某个特征空间中的内积运算的充分必要条件是， 对于任意的φ(x)≠0且∫φ2(x)dx ∞，有 ∫∫K(x, x)φ(x)φ(x)dxdx 0 * 哈尔滨理工大学网络信息中心 * 支持向量网络 * 哈尔滨理工大学网络信息中心 * 通常的内核函数 线性内核 多项式内核 径向基函数内核(RBF) S形内核 谢谢大家! * 哈尔滨理工大学网络信息中心 * 哈尔滨理工大学网络信息中心 * 支持向量机引导SVM课件 孙宗宝 2006年12月20日 哈尔滨理工大学网络信息中心学术交流 * 哈尔滨理工大学网络信息中心 * 支持向量机引导 孙宗宝 2006年12月20日 哈尔滨理工大学网络信息中心学术交流 * 哈尔滨理工大学网络信息中心 * 内容提要 概述 线性可分情况理论 线性不可分情况 支持向量机模型 核函数 支持向量机网络 * 哈尔滨理工大学网络信息中心 * SVM简介 90年代中期在统计学习理论的基础上发展起来的一种机器学习方法 (Boser,Guyon,Vapnik) 适合有限样本(小样本)问题 在很大程度上解决了传统方法（如神经网络）中存在的问题，如过学习、非线性、多维问题、局部极小点问题等 统计学习理论和支持向量机被视为机器学习问题的一个基本框架，传统的方法都可以看作是SVM方法的一种实现 有坚实的理论基础和严格的理论分析 * 哈尔滨理工大学网络信息中心 * 概述 一、向量的内积与超平面 * 哈尔滨理工大学网络信息中心 * 概述 二、 最优分类平面 * 哈尔滨理工大学网络信息中心 * 概述 二维数据最优分类线的基本要求： 1、要能将两类样本无错误的分开 即使经验风险最小，理论上为零 2、要使两类之间的距离最大 也就是使margin最大，从而使实际风险最小 * 哈尔滨理工大学网络信息中心 * 概述 我们要做的是什么呢？ 找到一个超平面(最优分类面)，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。 * 哈尔滨理工大学网络信息中心 * H H2 H1 最优分类平面 为最优分类平面的方程 * 哈尔滨理工大学网络信息中心 * SVM原理之线性可分 设线性可分样本集为(xi, yi), i=1,2,…,n,x∈Rd, y∈{+1,-1}是类别标号。 则d维空间中线性判别函数的一般形式为: g(x)=w·x+b 分类面方程为: w·x+b=0 (1) * 哈尔滨理工大学网络信息中心 * SVM原理之线性可分 将判别函数进行归一化,使两类所有样本都满足 |g(x)|≥1,即,使离分类面最近的样本的|g(x)|=1,这样分类间隔就等于2/‖w‖,因此间隔最大等价于使‖w‖(或‖w‖2)最小;而要求分类线对所有样本正确分类,就是要求其满足: yi[(w·xi)+b]-1≥0,(i=1,2,…,n) (2) * 哈尔滨理工大学网络信息中心 * SVM原理之线性可分 我们解决这样问题的思路是什么呢？ 首要的就是设法找到解决问题的数学模型！ 我们的问题是： 找到满足上述式（2）、且使‖w‖2的分类面。 其实这个分类面就是最优分类面！ * 哈尔滨理工大学网络信息中心 * SVM原理之线性可分 支持向量（SV）在那呢？ 能使式（2） yi[(w·xi)+b]-1≥0,(i=1,2,…,n) 中等号成立的，也就是位于margin 上的样本就是支持向量。 * 哈尔滨理工大学网络信息中心 * SVM原理之线性可分 最优分类平面求解的数学模型 我们的求解过程显然是一个有 约束条件的优化问题： 即在式(2)的约束下,求函数: φ(w)= 1/2‖w‖2= 1/2(w·w) (3) 的最小值。 * 哈尔滨理工大学网络信息中心 * SVM原理之线性可分 求解方法---Lagrange 乘子法 什么是Lagrange 乘子法？ 看一个例子。 问题：给你一块面积固定（等于a 的平方） 板子，问做成什么样的长方体（盒子），它具有最大的体积。 * 哈尔滨理工大学网络信息中心 * SVM原理之线性可分 Lagrange 乘子法 设长方体的三个棱长为x，y，z，则其体积f 为三个边长的乘积： f(x,y,z)=xyz 本问题要求表面积为a 的平方，于是长方体的6面的面积可以写成 ： 2xy+2xz+2yz=a