第二章聚类分析.pptVIP

第二章 聚 类 分 析 【教学目的】通过本章的教学应使学生了解聚类分析的方法和作用，了解聚类分析中常用的距离和相似系数以及它们各自的特点及适用范围。掌握系统聚类法，能够应用系统聚类法解决实际数据分析问题。 【教学重点】本章的重点是系统聚类法。  聚类分析的概念 聚类分析又称群分析、点群分析，是定量研究分类问题的一种多元统计方法。 人类认识世界往往首先将被认识的对象进行分类，因此分类学便成为人类认识世界的基础科学。在社会生活的众多领域中都存在着大量的分类问题。以前人们主要靠经验和专业知识做定性分类处理，致使许多分类带有主观性和任意性，不能很好地揭示客观事物内在的本质差别与联系，特别是对于多因素、多指标的分类问题，定性分类更难以实现准确分类。 聚类分析的基本思想 认为所研究的样品或指标之间存在着程度不同的相似性，于是根据一批样品的多个观测指标，找出能够度量样品或变量之间相似程度的统计量，并以此为依据，采用某种聚类法，将所有的样品或变量分别聚合到不同的类中，使同一类中的个体有较大的相似性，不同类中的个体差异较大。 聚类分析的内容 聚类分析包括很多种方法，系统聚类法是最基本、最常用的一种，此外还有有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等，不同的方法适合解决不同类型的问题，本章主要介绍最常用的系统聚类法。 聚类分析的对象类型 Q型聚类是对样品进行分类，即对观测进行分类。根据观测有关变量的特征，将特征相似的样品归为一类。它是聚类分析中用的最多的一种，具有以下优点： 1.可综合利用多个变量的信息对样品进行分类； 2.分类结果直观，聚类谱系图非常清楚地表现 分类结果； 3.所得结果比传统分类方法更细致、全面、合理。 R型聚类分析的主要作用： 1. 可了解个别变量之间及变量组合之间的亲疏程度； 2. 根据变量的分类结果以及它们之间的关系，可以选择主要变量进行回归分析或Q型聚类分析。 事物之间的相似性测度 聚类分析用于系统类群相似性的研究,其实质上是寻找一种能客观反映样品或变量之间亲疏关系的统计量，然后根据这种统计量把样品或变量分成若干类。常用的统计量有距离和相似系数。 用相似系数度量 是两个事物离得多近的度量。性质越接近的元素其相似系数的绝对值越接近于1;彼此无关的元素其相似系数的绝对值越接近于0。相似的元素归为一类,不相似的元素归为不同的类。 用距离来度量 是两个事物离得多远的度量。将一个样品看作空间的一个点,在空间定义距离,距离近的点归为一类,距离远的点归为不同的类。 变量类型的划分 1.间隔尺度： 是用连续的实值变量来表示的，是由测量或计数、统计所得到的量。如：经济统计数字、抽样调查数据、身高、体重、年龄、速度、压力等。 系统聚类分析方法 系统聚类分析也叫分层聚类分析，是目前国内外使用得最多的一种方法，有关它的研究极为丰富，聚类分析的方法也最多。 系统聚类的步骤 （1）计算n个样品两两之间的距离记为矩阵D； （2）?首先构造n个类，每一类中只包含一个样品； （3）?合并距离最近的两类为新类； （4） 计算新类与当前类的距离，若类的个数已经等于1，则转入5，否则回到3； （5）???画谱系图； （6）决定类的个数和类。系统聚类允许一类整个地包含在另一类内，但在这两类间不能有其他类与之重叠。 系统聚类方法 样品之间可以用不同的方法定义距离，类与类之间的距离也有多种定义。用不同的方法定义类与类之间的距离，就产生了不同的系统聚类方法。 应注意的问题 (1)在聚类分析中，应根据不同的目的选用不同的指标，例如选拔运动员所用的指标（身体形态、身体素质、心理素质、生理功能等）与分课外活动小组所选用的指标不相同，对啤酒按价格分类与按成分分类所用的指标也不相同。一般来说，选择哪些变量应该具有一定的理论支持，但在实践中往往缺乏这样强有力的理论基础，一般根据实际工作经验和 SAS程序基本知识 SAS语言是SAS软件系统的基础。SAS语言有它自己的对变量、常量、表达式的一系列规定，有一系列标准函数，有它自己的语句、语法，可以按一定规则构成程序。 简单的SAS小程序 DATA AA； INPUT NO AGE HEIGHT WEIGHT； CARDS； 1????????? 11 152 41 2????????? 12 158 44 3????????? 11 150 45 ； RUN； PROC PR