支持向量机及其编程实现.pptVIP

第1页，共35页，星期日，2025年，2月5日SupportVectorMachine支持向量机*第2页，共35页，星期日，2025年，2月5日相关参考资料统计学习理论的本质，VladimirN.Vapnik著，张学工译，清华大学出版社，2000.09*BernhardScholkopf,AlexJ.Smola,CHRISTOPHERJ.C.BURGES支持向量机导论，N.Cristianini,J.Shawe-Taylor著，电子工业出版社，2004.03SupportVectorClassification.StevenGunn.第3页，共35页，星期日，2025年，2月5日1、支持向量机可以做什么？*第4页，共35页，星期日，2025年，2月5日支持向量机的应用之一：手写体数字识别1、支持向量机可以做什么？NIST手写体数字的前100个目前最好的识别水平：LeNet4多项式支持向量机（错误率0.7%）*（错误率0.8%）第5页，共35页，星期日，2025年，2月5日贝尔实验室对美国邮政手写数字库进行的实验分类器错误率人工表现2.5%决策树C4.516.2%最好的两层神经网络5.9%SVM4.0%第6页，共35页，星期日，2025年，2月5日SVM与神经网络（NN）的对比SVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题的表示、问题的解决、证明）SVM——严格的数学推理NN——强烈依赖于工程技巧推广能力取决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。NN设计者用高超的工程技巧弥补了数学上的缺陷——设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。第7页，共35页，星期日，2025年，2月5日“我们必须从一开始就澄清一个观点，就是如果某事不是科学，它并不一定不好。比如说，爱情就不是科学。因此，如果我们说某事不是科学，并不是说它有什么不对，而只是说它不是科学。”同理，与SVM相比，NN不像一门科学，更像一门工程技巧，但并不意味着它就一定不好！第8页，共35页，星期日，2025年，2月5日1、支持向量机可以做什么？支持向量机的应用之二：性别识别SVMSVM男或女男或女SVM男或女*第9页，共35页，星期日，2025年，2月5日1、支持向量机可以做什么？支持向量机的应用之三：行人检测*第10页，共35页，星期日，2025年，2月5日2、支持向量机的提出问题1：支持向量机为什么会有如此好的性能？问题2：何为最优分类面？*它追求的不仅仅是得到一个能将两类样本分开的分类面，而是要得到一个最优的分类面。TobeNo.1第11页，共35页，星期日，2025年，2月5日2、支持向量机的提出参考标准：使错分样本数目最少缺陷1：错分训练样本数目对判别函数的好坏评估不够精细错分样本数最少错分训练样本数最少*第12页，共35页，星期日，2025年，2月5日缺陷2：拥有较少的错分训练样本数的判别函数未必就是一个好的判别函数2、支持向量机的提出*第13页，共35页，星期日，2025年，2月5日margin2、支持向量机的提出支持向量机的标准：使margin尽可能大:两类样本到分类面的最短距离之和*第14页，共35页，星期日，2025年，2月5日a.线性支持向量机的数学模型3、支持向量机的数学模型设所求的分类面表达式为：该分类面若能将训练样本线性分开，则：*对于有限个数的样本，存在上式可简写为：即：其中，第15页，共35页，星期日，2025年，2月5日在上述约束条件下，SVM的求解则是最大化margin的过程。问题：若将分类面（w,b）对应的margin记为，则*第16页，共35页，星期日，2025年，2月5日优化目标约束条件利用线性SVM求解线性分类面本质上是求解如下优化问题：*综上所述，线性SVM的数学模型可以描述为：给定训练样本集第17页，共35页，星期日，2025年，2月5日b.支持向量机的求解*支持向量机的优化模型：一般的优化问题模型：第18页，共35页，星期日，2025年，2月5日Step1：构造Lagrange函数Step2:求解Lagrange函数的鞍点求解L(w,b;α)关于w和b的最小值，关于α的最大值，即：Lagrange乘子b.支持向量机的求解：拉格朗日对偶法*第19页，共35页，星期日，2025年，2月5日Step3