第七章 支持向量机.pdf

袁春 清华大学深圳研究生院 李航 华为诺亚方舟实验室 目录 1. 线性可分支持向量机与硬间隔最大化 2. 线性支持向量机与软间隔最大化 3. 非线性支持向量机与核函数 4. 序列最小最优化算法 一、线性可分支持向量机与硬间 隔最大化 线性可分支持向量机 函数间隔和几何间隔 间隔最大化 学习的对偶算法 线性可分支持向量机 二分类问题： 输入空间：欧式空间或离散集合 特征空间：欧式空间或希尔伯特空间 线性可分支持向量机、线性支持向量机：假设这两个空 间的元素一一对应，并将输入空间中的输入映射为特征 空间中的特征向量； 非线性支持向量机：利用一个从输入空间到特征空间的 非线性映射将输入映射为特征向量； 支持向量机的学习是在特征空间进行的. 线性可分支持向量机 假设特征空间上的训练数据集： 正例和负例 学习的目标：找到分类超平面， 线性可分支持向量机：给定线性可分训练数据集，通过 间隔最大化或等价地求解相应的凸二次规划问题学习得 到的分离超平面为 决策函数： 线性可分支持向量机与硬间隔最大化 w· x + b w = 0 w ·x + b 0 w ·x + b 0 6 超平面选择 ? 7 Margins Support Vectors Support Vectors 点到超平面的距离 g(x) wxb x x |b| ||w|| 9 函数间隔和几何间隔 点到分离超平面的远近  表示分类预测的确信程度  的符号与类标记y 的符号是否一致  表示分类是否正确 所以：  表示分类的正确性和确信度 函数间隔和几何间隔 函数间隔 样本点的函数间隔 x