SAS中的聚类分析方法总结.docxVIP

SAS中的聚类分析方法总结（1）——聚类分析概述说起聚类分析，相信很多人并不陌生。这篇原创博客我想简单说一下我所理解的聚类分析，欢迎各位高手不吝赐教和拍砖。?按照正常的思路，我大概会说如下几个问题：1.什么是聚类分析？2.聚类分析有什么用？3.聚类分析怎么做？下面我将分聚类分析概述、聚类分析算法及sas实现、案例三部分来系统的回答这些问题。聚类分析概述1.聚类分析的定义中国有句俗语叫“物以类聚，人以群分”——剔除这句话的贬义色彩。说白了就是物品根据物品的特征和功用可以分门别类，人和人会根据性格、偏好甚至利益结成不同的群体。分门别类和结成群体之后，同类（同群）之间的物品（人）的特征尽可能相似，不同类（同群）之间的物品（人）的特征尽可能不同。这个过程实际上就是聚类分析。从这个过程我们可以知道如下几点：1)聚类分析的对象是物（人），说的理论一点就是样本2)聚类分析是根据物或者人的特征来进行聚集的，这里的特征说的理论一点就是变量。当然特征选的不一样，聚类的结果也会不一样；3)聚类分析中评判相似的标准非常关键。说的理论一点也就是相似性的度量非常关键；4)聚类分析结果的好坏没有统一的评判标准；2.聚类分析到底有什么用？1)说的官腔一点就是为了更好的认识事物和事情，比如我们可以把人按照地域划分为南方人和北方人，你会发现这种分法有时候也蛮有道理。一般来说南方人习惯吃米饭，北方习惯吃面食；2)说的实用一点，可以有效对用户进行细分，提供有针对性的产品和服务。比如银行会将用户分成金卡用户、银卡用户和普通卡用户。这种分法一方面能很好的节约银行的资源，另外一方面也能很好针对不同的用户实习分级服务，提高彼此的满意度。再比如移动会开发全球通、神州行和动感地带三个套餐或者品牌，实际就是根据移动用户的行为习惯做了很好的用户细分——聚类分析；3)上升到理论层面，聚类分析是用户细分里面最为重要的工具，而用户细分则是整个精准营销里面的基础。精准营销是目前普遍接纳而且被采用的一种营销手段和方式。3.聚类分析的流程是怎样的？比较简单的聚类分析往往只根据一个维度来进行，比如讲用户按照付费情况分成高端用户、中端用户和低端用户。这 个只需要根据商业目的统计一下相关数据指定一个高端、中端和低端的分界点标准就可以。如果是比较复杂的聚类分析，比如移动里面经常会基于用户的多种行为（通话、短信、gprs流失扥等）来对用户进行细分，这个就是比较复杂的用户细分。如果是这样的细分通常会作为一个比较标准的数据挖掘项目来执行，所以基本上会按照数据挖掘的流程来执行。具体分如下几步：1)业务理解主要是了解业务目标和数据挖掘的目标及执行计划2)数据理解主要是弄清楚可已取哪些变量数据，具体怎么定义3)数据整理根据之前的定义提取需要的数据，并进行检测异常数据，并对变量进行挑选及探索，比如最终要用那些变量来执行聚类算法、那些变量是离散变量，需要做特殊处理、数据大概可以聚成几类、类别形状有不规则的情形吗？4)建立模型关键是选用什么样的距离(相似性度量)和算法：l??比如是样本比较小，形状也比较规则，可以选用层次聚类l??比如样本比较大，形状规则，各类的样本量基本相当，可以选用k-means算法l??比如形状规则，但是各类别之间的样本点的密度差异很大，可以选用基于密度的算法5)模型评估主要是评估聚类分析结果的好坏。实际上聚类分析在机器学习里面被称之为无监督学习，是没有大家公认的评估方法的。所以更多会从业务可解释性的角度去评估聚类分析的好坏；6)模型发布主要是根据聚类分析的结果根据不同的类的特诊去设计不同的产品、服务或者渠道策略，然后去实施营销4. 具体在sas里面如何执行？通过前面的讲解我们已经知道，聚类分析涉及到如下6步，对应着6步SAS都会有相应的过程来执行。1)距离的计算：proc distance2)数据标准化：proc stdize3)聚类变量的选择：proc varclus4)初始类别数的选择：proc mds和proc princomp5)不规则形状的变换：proc aceclus6)算法的选择：层次聚类-proc cluster 划分型聚类-proc fastclus（k-means）和?密度型聚类-proc modeclus7)类别特征描述：proc means以上四个部分就从是什么、为什么、怎么样三个角度对聚类分析做了简单的介绍。接下来的帖子我会重点介绍SAS中各种聚类算法的差异、应用范围及实际的案例。5.用proc distance做什么？我们知道数据变量分四类：名义变量、次序变量、interval变量和ritio变量。但sas里面目前的聚类算法都要求变量时ratio变量。那想要对离散变量进行聚类怎么呢？一种想法自然是讲所有的离散变量都转成0-1变量。这会有如下几个问题：1)变量的信息可能