计算机学习和支持向量机方法.pptVIP

计算机学习与支持向量机方法 References Cristianini N and Shawa-Taylor J. An Introduction of Support Vector Machines and other kernel_based learning methods. Cambridge University Press, 2000. （中译本：李国正等译. 支持向量机导论. 北京：电子工业出版社，2004.） Sch?lkopf B et al. edited. Advances in kernel methods—Support Vector Learning. MIT Press, Cambridge, MA,1999. Burges C J. A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery, 1998, 2: 127~167 Sch?lkopf B , Smola A J. A tutorial on support vector regression. NeuroCOLT2 Technical Report Series, NC2-TR-1998 -030,1998 关键词 计算机应用的历史回顾 人类的学习过程图示 实践 认识 应用 认识个体1 认识个体2 认识个体3 建立概念 识别应用 ………….. 认识个体l 计算机学习过程图示 数据 模型 应用 样本数据1 样本数据2 训练建模 预报应用 ………….. 样本数据l x11, x12,…,x1n;y1 x21, x22,…,x2n;y2 yi=M(xi1, xi2,…,xin) ……………… xl1, xl2,…,xln; yl (Xi,yi) y=M(X) y*=M(X*) 问题：1.模型是否存在？能否建立？ 2.模型有否推广能力？ 3.能否小样本建立？ 训练样本集： 基于训练,从给定的函数集f (x,?), ?∈? 中选出最好逼近训练器响应的函数来 计算机学习的理论问题 1.学习机的备选函数类f (x,?)如何确定？ 2.依据什么原则选取最优函数f (x,?0) ？ 3.学习机随样本数据的增加是否收敛？若收敛，收敛速度如何？ 4.通过数据建立的学习机的泛化能力即推广能力如何？ 5.学习机的性能好坏如何评价？ 计算机学习的不适定性 SVM的基本思想 通常习惯于把样本降维（向低维空间做投影）化简问题，如计算两点间的引力 X=(x1,x2,x3,y1,y2,y3,m1,m2,…) ?(X)=(r1,m1,m2) 通常采用线性化手段。（如取对数） SVM方法是把样本点“升维”，即映射到高维甚至无穷维空间，再在高维空间中采用处理线性问题的方法。 映射是非线性的，从而解决样本空间中的高度非线性问题。 升维的图示3 φ(x1,x2)= (x12,x1x2, x22) 非线性映射的图示 非线性划分的例 非线性多类划分 分区问题的例 学习数据 双蛇问题的例 SVM的本质优点 1.传统的统计方法只有在样本数趋向无穷大时其性能才有理论上的保证。对于应用中的有限样本难以取得理想的效果。SVM是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度的定义及大数定律等，因此不同于现有的统计方法。从本质上看，它避开了从归纳到演绎的传统过程，实现了高效的从训练样本到预报样本的“转导推理” ，大大简化了通常的分类和回归等问题。 3. 少数支持向量决定了最终结果，这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本，而且注定了该方法不但算法简单，而且具有较好的“鲁棒”性（鲁棒是Rubostness的音译，也有义译成稳健性、健壮性等） 4. SVM是一种处理非线性分类和非线性回归的有效方法。 SVM通过核函数实现到高维空间的非线性映射，所以适合于解决本质上非线性的问题。 5. 由于有较为严格的统计学习理论做保证，应用SVM方法建立的模型具有较好的推广能力。SVM方法可以给出所建模型的推广能力的确定的界，这是目前其它任何学习方法所不具备的。 6. 建立任何一个数据模型，人为干预越少越客观。与其他方法相比，建立SVM模型所需要的先验干预较少。 7. 核函数的选取和参数优化仍需解决。 支持向量机 模式识别 Support Vector Machi