支持向量机pdf-智能科学.PDF

高级人工智能 第八章 统计学习 Statistical Learning 史忠植 中国科学院计算技术研究所 内容提要  统计学习方法概述  统计学习问题  学习过程的泛化能力  支持向量机  SVM寻优算法  极限学习机  应用 2015/4/22 Chap8 SL Zhongzhi Shi 2 统计学习方法概述 统计方法是从事物的外在数量上的表现去推断该事物可 能的规律性。科学规律性的东西一般总是隐藏得比较深， 最初总是从其数量表现上通过统计分析看出一些线索， 然后提出一定的假说或学说，作进一步深入的理论研究。 当理论研究提出一定的结论时，往往还需要在实践中加 以验证。就是说，观测一些自然现象或专门安排的实验 所得资料，是否与理论相符、在多大的程度上相符、偏 离可能是朝哪个方向等等问题，都需要用统计分析的方 法处理。 2015/4/22 Chap8 SL Zhongzhi Shi 3 统计学习方法概述 近百年来，统计学得到极大的发展。我们可用下 面的框架粗略地刻划统计学发展的过程：  1900-1920 数据描述  1920-1940 统计模型的曙光  1940-1960 数理统计时代  随机模型假设的挑战  松弛结构模型假设  1990-1999 建模复杂的数据结构 2015/4/22 Chap8 SL Zhongzhi Shi 4 统计学习方法概述 从1960年至1980年间，统计学领域出现了一场革命，要从 观测数据对依赖关系进行估计，只要知道未知依赖关系所 属的函数集的某些一般的性质就足够了。引导这一革命的 是60年代的四项发现：  Tikhonov, Ivanov 和Philips 发现的关于解决不适定问题的 正则化原则；  Parzen, Rosenblatt 和Chentsov 发现的非参数统计学；  Vapnik 和Chervonenkis 发现的在泛函数空间的大数定律， 以及它与学习过程的关系；  Kolmogorov, Solomonoff 和Chaitin 发现的算法复杂性及 其与归纳推理的关系。 这四项发现也成为人们对学习过程研究的重要基础。 2015/4/22 Chap8 SL Zhongzhi Shi 5 统计学习方法概述 统计学习方法：  传统方法: 统计学在解决机器学习问题中起着基础性 的作用。传统的统计学所研究的主要是渐近理论， 即当样本趋向于无穷多时的统计性质。统计方法主 要考虑测试预想的假设和数据模型拟合。它依赖于 显式的基本概率模型。  模糊集  粗糙集  支持向量机 2015/4/22 Chap8 SVM Zhongzhi Shi 6 统计学习方法概述 统计方法处理过程可以分为三个阶段：  （1）搜集数据：采样、实验设计  （2 ）分析数据：建模、知识发现、可视化  （3 ）进行推理：预测、分类 常见的统计方法有: 回归分析（多元回归、自回归等） 判别分析（贝叶斯判别、费歇尔判别、非参数判别等） 聚类分析（系统聚类、动态聚类等） 探索性分析（主元分析法、相关分析法等）等