(唐启义)常用数据分析技术分类初探.pptVIP

常用数据分析技术分类初探 唐 启 义 电话：0571 （浙江大学农业与生物技术学院 310029） 引 言（第46页） 这里将常用的一些数据统计分析技术进行简要分类,同时将这些常用数据分析技术与DPS软件实现建立索引。 DPS是我们研发的实验设计、统计分析及数据挖掘通用统计软件，本研究以对照表形式给出，以便在试验设计、数据分析过程中,准确、科学地应用各种数据分析技术于科研、生产实践之中。 因变量、自变量定义 因变量：相依的，在应用中是待解释（或揭示）的变量（指标） 自变量：独立的，在应用中作为解释因变量的变量（指标）。 一个（因）变量 1个因变量（定量）、1个自变量 1个因变量（定量）、多个自变量 1个因变量(分类)、1个自变量(分类) 1个定性因变量、1或多个自变量 一个自因变量、多个自变量 多个因变量、多个自变量 因变量未知、多个自变量 * * 时间序列分析，灰色系统方法 定量、有序 马尔可夫链 定性、有序 图表、基本参数计算、频次分布、混合分布、异常值检验、正态性检验,单组样本检验等 定量、无序 DPS系统统计方法 因变量 DPS系统统计方法 自变量类型 因变量 单因素方差分析， 非参数检验 定性、多组? 定量? t检验，非参数检验 定性、分两组 定量 线性相关、秩相关， 线性回归、非线性回归分析 定量? 定量? DPS统计分析方法 自变量 因变量 生存分析Cox, Weibull , 指数模型 定性、定量 定量(有截尾) (含分类变量)多元线性回归模型 定量(多)、定性(少) 定量 协方差分析，数量化方法I 定性(多)、定量(少) 定量 正交设计、析因设计方差分析等 定性分类 定量 DPS系统统计分析方法 自变量 因变量 对应分析、线性趋势检验、秩相关等 定性、有序、多类 定性、有序、多类 秩和检验、Ridit分析、Logistic回归 定性、无序 定性、有序、多类 卡方检验, Fisher确切概率 定性、无序、 2或多类 定性、无序、 2或多类 DPS统计分析方法 自变量 因变量 判别分析、支持向量机 连续变量为主 无序、多类 多类别Logistic回归分析 定性或定量? 有序、多类? 两组判别分析 定量为主 自然分两类? Logistic, probit , poisson,及重对数互补回归模型 定量或定性 0-1两类? DPS统计分析方法 自变量 因变量 对数线性模型(需灵活运用) 定性 ?定性? GLM模型(需灵活运用) 定性、定量 ?定量 DPS统计分析方法 自变量 因变量 双重筛选逐步回归、典型相关分析、展开法、对应分析、BP神经网络、RBF、数据包络分析 定量? 定量 多元方差分析 及其线性模型 定性? 定量 DPS统计分析方法 自变量 因变量 Topsis评价，投影寻踪分类，… 定量 综合评价 主成分分析、非线性映射，对应分析、展开法 定量 简化 因子分析、顾客满意度结构方程模型 定量 潜因子 聚类分析(系统聚类、动态聚类) 定量、定性 未知分类 1988年开始，历时10年，1997年推出DOS版本第1版，同时出版配套专著第1版(4000册)； 1998年完成Window版(第2版)，2002年出版配套专著3000册；2007年配套专著再版(135万字,3000册)；目前软件版本10.15版。 DPS数据处理系统简介 DPS数据处理系统－实验设计、统计分析及数据挖掘 DPS用户界面与数据接口 DPS功能简介 DPS=Excel+SPSS 她既有Excel那样方便的数据处理工作表，又实现了SPSS高级统计分析的计算。目前的DPS8.50版本，它集数据整理、分析功能于一身，涵盖了所有的现代统计分析内容，是目前国内统计分析功能最全的数据处理、统计分析的中文软件包。 DPS统计软件具自主知识产权、技术上努力达到国际先进的统计分析软件包的水平。目前某些算法已处于国际领先(如大样本时的均匀实验设计、动态聚类分析技术)。 动态聚类分析技术获重大突破 ?????? 应用Fisher(1936)的Iris数据(5个变量150个样本)例子进行动态聚类分析，当分类数在3～15个时，SAS及SPSS的K-means法和DPS研发的技术，以组内平方和作为考查指标进行比较，结果如下。 ???? ? 分类类别数 SPSS（SAS) DPS DPS组内平方和下降(％) (SPSS-DPS)/SPSS×100 3 7897.877 7897.877 0 4 5750.971 5733.587 0.302 5 5010.352 4654.245 7.107 6 3913.625 3913.625 0 7 3549.878