利用SAS系统进行数据发掘——从数据到业务优势.pdfVIP

50 数理统计与管理 16 卷　2 期 1997 年 3 月 利用 SA S 系统进行数据发掘 ——从数据到业务优势 李雪胜编译 (SA S 软件研究所) 一、数据发掘和业务要求 “计算机为我们提供了智慧的源泉, 同时也给我们留下了洪水般的数据。” ——Grego ry P iatetsky- Shap iro 什么是数据发掘? 作为数据发掘(D ata M in ing) 最早的提倡者之一, Grego ry P iatetsky - Shap iro 谈到一个 基本点: 业务过程中产生的数据需转化为对制定业务决策有用的信息。数据发掘的目的就是从 大量的数据中提取出关键的事实。现在的一些方法, 例如 ( ) ( E IS 行政信息系统 和OLA P 联机 ) 分析处理 正帮助一些机构解决特定的问题, 但却不能告诉他们隐藏在数据背后的普遍规律。 SA S 软件研究所将数据发掘定义为“在大量相关数据基础之上进行数据探索和建立相关 模型的先进方法。” 二、 ——数据发掘过程 SEMM A 数据发掘是一项技术, 它不是解决一些特定的业务问题的立即可用的方案。它将帮助您减 少对专业分析人员的依赖, 并可以为您提供一个针对特定的业务问题实施数据发掘的方法。我 们 将这样的方法叫做 : 抽样 ( ) 、探索 ( ) 、操纵 ( ) 、建模 SEMM A Sam p le Exp lo re M an ipu late ( ) 、评价( ) 。 M odel A ssess 抽样 我们首先要考虑的问题是: 数据发掘是否需要数据仓库或数据库中的所有数据。如果我们 进行数据发掘的主要目标是发现隐藏在数据中的各种形式的信息或普遍的趋势, 那么可以选 择在数据发掘之前对数据进行抽样。 探索 一开始我们不知道应该从数据当中找出何种形式的信息。那么, 对数据进行搜寻和探索使 我们能够熟悉其真正面貌。 过去的十年中, 已有很多用于从数据中寻找各种形式信息的可视化探索方法, 而今, 一些 特定的软件提供浏览、探索和分析大量数据的能力并通过彩色的图形图象加以表现。如果数据 不适合这些可视化的探索工具, 可选择已有的统计方法, 如因子分析、聚类分析或对比分析。 操纵 下一步你可能想编辑和操纵数据以便包括新的信息, 诸如刚刚在数据探索阶段发现的用 户组。一般来说当新获得的信息可用时, 所有数据发掘方法或模型的更新应该是容易的。数据 发掘的动态性质, 意指用于数据发掘的数据修改或较大的数据库更新可能存在于数据发掘过 程的各个阶段。 © 1995-2005 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved. 利用 SA S 系统进行数据发掘——从数据到业务优势 51 建模 当数据中的模式被发现后, 下一个感兴趣的问题是“什么原因导致这样模式? ”。这样的问 题是由统计模型来解决, 这种模型可公式化并检验一下明确的假设。 大量合适的建模技术可供选择, 包括神经网络、树型模型(T ree- base m odel) 、时间序列 方法和其它特定的统计模型。T he Gartner Group 还在 SEMM A 方法中加