第八章 分类和聚类.pptx

第九章 分类和聚类;分类器;分类器学习;贝叶斯分类;贝叶斯理论;贝叶斯分类;朴素贝叶斯分类;文本分类 Na?ve Bayes算法(训练);文本分类 Na?ve Bayes算法(测试);Na?ve Bayes分类举例;Na?ve Bayes 举例 (cont.);Play-tennis 例子: 估算 P(xi|C);outlook;Play-tennis例子: 分类 X;讨论; K近邻（KNN）;KNN算法;kNN方法;KNN;相似度矩阵;影响KNN的因素;KNN和NB比较;Neural Network;其他分类方法;分类的评价;第 12 章 聚类分析;学习目标;怎样把消费者分类？;怎样把消费者分类？;怎样把消费者分类？;在现实生活中，分类问题是十分常见的 根据经济发展水平把各个国家分成发达国家、中等发达国家、发展中国家 按照消费者的特征对消费者分类，按照产品特征对产品分类 这些分类中，有的事先并不知道存在什么类别，完全按照反映对象特征的数据把对象进行分类，这在统计上称为聚类分析；有的则是在事先有了某种分类标准之后，判定一个新的研究对象应该归属到哪一类别，这在统计上则称为判别分析(discriminant analysis) 本章主要介绍聚类分析方法;聚类分析的基本原理 什么是聚类分析? 相似性的度量;12.1.1 什么是聚类分析？;把“对象”分成不同的类别 这些类不是事先给定的，而是直接根据数据的特征确定的 把相似的东西放在一起，从而使得类别内部的“差异”尽可能小，而类别之间的“差异”尽可能大 聚类分析就是按照对象之间的“相似”程度把对象进行分类;聚类分析的“对象”可以是所观察的多个样本，也可以是针对每个样本测得的多个变量 按照变量对所观察的样本进行分类称为Q型聚类 按照多项经济指标(变量)对不同的地区(样本)进行分类 按照样本对多个变量进行分类，则称为R型聚类 按照不同地区的样本数据对多个经济变量进行分类 两种聚类没有什么本质区别，实际中人们更感兴趣的通常是根据变量对样本进行分类(Q型聚类);按对象的“相似”程度分类 根据样本的观测数据测度变量之间的相似性程度可以使用夹角余弦、Pearson相关系数等工具，也称为相似系数 变量间的相似系数越大，说明它们越相近 根据变量来测度样本之间的相似程度则使用“距离” 把离得比较近的归为一类，而离得比较远的放在不同的类;聚类分析中是用“距离”或“相似系数”来度量对象之间的相似性 在第13章例13.1中，31个地区的人均GDP数据就是直线上的31个点，每一个点对应一个地区 如果按照人均GDP对它们进行分类，就可以把在直线上离得比较近的那些点归为一类。如果再考虑财政收入，那么人均GDP和财政收入就是二维平面上的一个点，31个地区就是平面中的31个点 多个变量就是高维空间中的一个点，31个地区就是高维空间中的31个点 各个点之间距离的远近就是分类的依据;在对样本进行分类时，度量样本之间的相似性使用点间距离 点间距离的计算方法主要有 欧氏距离(Euclidean distance) 平方欧氏距离(Squared Euclidean distance) Block距离(Block distance) Chebychev距离(Chebychev distance) 马氏距离(Minkovski distance) 最常用的是平方欧氏距离;;;层次聚类 层次聚类的两种方式 类间距离的计算方法 层次聚类的应用 ;层次聚类又称系统聚类 事先不确定要分多少类，而是先把每一个对象作为一类，然后一层一层进行分类 根据运算的方向不同，层次聚类法又分为合并法和分解法，两种方法的运算原理一样，只是方向相反;将每一个样本作为一类，如果是k个样本就分k成类 按照某种方法度量样本之间的距离，并将距离最近的两个样本合并为一个类别，从而形成了k-1个类别 再计算出新产生的类别与其他各类别之间的距离，并将距离最近的两个类别合并为一类。这时，如果类别的个数仍然大于1，则继续重复这一步，直到所有的类别都合并成一类为止 总是先把离得最近的两个类进行合并 合并越晚的类，距离越远 事先并不会指定最后要分成多少类，而是把所有可能的分类都列出，再视具体情况选择一个合适的分类结果 ;分解方法原理与合并法相反 先把所有的对象(样本或变量)作为一大类，然后度量对象之间的距离或相似程度，并将距离或相似程度最远的对象分离出去，形成两大类(其中的一类只有一个对象) 再度量类别中剩余对象之间的距离或相似程度，并将最远的分离出去，不断重复这一过程，直到所有的对象都自成一类为止 SPSS中只提供了合并法;在层次聚类法中，当类别多于1个时，就涉及到如何定义两个类别之间的距离问题 计算类间距离(与上面介绍的点间距离不同)的方法