机器学习06__支持向量机.pdf免费

机器学习—— 支持向量机 智能工程研究室智能工程研究室 计算机科学与技术学院 为什么使用为什么使用SVMSVM • 传统的统计模式识别方法只有在样本趋向无穷大时，其 性能才有理论的保证性能才有理论的保证。。统计学习理论统计学习理论 （（SLTSLT ））研究有限研究有限 样本情况下的机器学习问题。 • 统计学习理论是统计学习理论是SVMSVM的理论基础的理论基础 • 传统的统计模式识别方法在进行机器学习时，强调经验 风险最小化风险最小化。。而而单纯的经验风险最小化会产生单纯的经验风险最小化会产生 ““过学习过学习 问题”，其推广能力较差。 • 推广能力: 学习机器(即预测函数,或称学习函数、学习 模型)对未来输出进行正确预测的能力。 • 过学习问题：学习机训练精度高，而测试精度低、推广 能力差的现象能力差的现象。。 过学习问题产生的原因过学习问题产生的原因 • 例如：对一组训练样本(x,y),x分布在实 数范围内，y取值在[0，1]之间。无论这 些样本是由什么模型产生的些样本是由什么模型产生的，，我们总可我们总可 以用y=sin(w*x)去拟合，使得训练误差 为为00. 1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -100 -80 -60 -40 -20 0 20 40 60 80 100 Y∈[0, 1], x ∈ (-100:1:100) 2008年8月10 日 3 SVMSVM如何克服过拟合问题如何克服过拟合问题 • 统计学习理论：针对小样本问题而提出 的学习理论 什么叫小样本？ VCVC维维：：对学习函数集复杂程度的衡量对学习函数集复杂程度的衡量，，记为记为hh 经验风险：由观测样本计算的学习误差 期望风险期望风险：学习机在统计意义上的学习误差学习机在统计意义上的学习误差 结构风险：在一定的VC维下，由经验风险和置信度 组组成的期望风险的上届成的期望风险的上届，称为结构风险称为结构风险 置信度：与VC维和学习样本数相关的期望风险的部 分上届分上届，称为置信度称为置信度 h(ln(2h / l) +1) −ln(η/ 4) R w R w (( )) ≤ (( )) + ≡R ((w)) +Φ((h / l)) empemp ll empemp 2008年8月10 日 4 结构风险最小化示意图结构风险最小化示意图 欠学习 过学习 期 期