数据挖掘原理与SPSSClementine应用宝典第14章支持向量机教学幻灯片讲义.pptVIP

需要求解的最优化问题 其中 在求得最优化问题的解 后，得到分划超平面 其中 最后得到决策函数 或 线性分划－非线性分划代价：2维空间内积－6维空间内积 为此，引进函数 有 比较(2)和(3)，可以发现 这是一个重要的等式，提示6维空间中的内积 可以通过计算 中2维空间中的内积 得到。 实现非线性分类的思想： 给定训练集后，决策函数仅依赖于 而不需要再考虑非线性变换　　，如果想用其它的非线性分划办法，则可以考虑选择其它形式的函数 ，一旦选定了函数，就可以求解最优化问题 得最优解 　　 ，因而 决策函数 其中 设 是 中的一个子集。称定义在 上的函数 是核函数(正定核或核)，如果存在着从 到某一个 空间 的映射 使得 其中 表示 中的内积 14.2.3.2　核函数 非线性SVM的泛化性能和算法的复杂度取决于支持向量的数目，而与特征空间的维数无关。这种非线性SVM的分类函数（SVC）形式上类似于神经网络，其输出层是由若干中间结点组成，每个结点对应于输入样本点与一个SV的内积，因而也被称为支持向量网络(SV Networks)，如下图所示。 支持向量网络示意图 多项式内核 径向基函数内核RBF Sigmoind内核 目前研究最多的核函数主要有三类： 得到q 阶多项式分类器 每个基函数中心对应一个支持向量，它们及输出权值由算法自动确定 包含一个隐层的多层感知器，隐层节点数是由算法自动确定 14.3支持向量机的实现技术 14.3.1 chunking算法 算法基本思想是：SVM学习过程就是得到支持向量(SV)及其对应的Lagrange乘子，因此建立一个工作集(working set)，通过迭代，启发式的引入SV而将非支持向量排除出去。 通常称训练集T中的任意一个子集为“块”，选块算法的基本思想是，去掉对应于非支持向量的Lagrange乘子=0的那些训练点，而只对支持向量计算相应的Lgarnage的乘子。 通过某种迭代方式逐步排除非支持向量，选出支持向量所对应的“块”。 图14-9　chunking算法流程 数据挖掘原理与SPSS Clementine应用宝典 元昌安 主编　 邓　松　李文敬　刘海涛　编著 电子工业出版社 14.1支持向量机基础 14.1.1机器学习的基本问题 14.1.2经验风险最小化问题 14.1.3 VC维与学习一致性理论 14.1.4结构化风险最小化 14.2支持向量机的基本原理 14.2.1线性支持向量机 14.2.2广义线性支持向量机 14.2.3非线性支持向量机 14.2.3.1到高维空间的影射 14.2.3.2核函数 14.3支持向量机的实现技术 14.3.1 chunking算法 14.3.2 Decomposing算法 14.3.3 SMO算法 14.3.5 SMO算法的特点和优势 14.4支持向量回归机 14.4.1不敏感损失函数 14.4.2支持向量回归机模型 14.5支持向量机的改进算法 数据挖掘原理与SPSS Clementine应用宝典 元昌安 主编　 邓　松　李文敬　刘海涛　编著 电子工业出版社 14.1支持向量机基础 支持向量机(support vector machines)是由贝尔实验室研究者Vapnik于20世纪90年代最先提出的一种新的机器学习理论，是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力。 支持向量机从诞生至今才10多年，发展史虽短，但其理论研究和算法实现方面却都取得了突破性进展，有力地推动机器学习理论和技术的发展。这一切与支持向量机具有较完备的统计学习理论基础的发展背景是密不可分的。 统计方法是从事物的外在数量上的表现去推断该事物可能的规律性，它主要考虑测试预想的假设和数据模型拟合，依赖于显式的基本概率模型。 统计学习理论是针对小样本情况下的机器学习理论，它依据算法的经验风险以及算法本身的构造推测它的实际风险，获得了较好的算法泛化能力。统计学习理论将算法的训练过程看作算法向训练样本学习的过程。 统计学习理论的4个部分： 学习过程一致性的理论。一个基于经验风险最小化原则的学习过程满足什么条件，它的经