数据挖掘技术及应用研究进展.pdfVIP

福 建 电 脑 2008年第7期 数据挖掘技术及应用研究进展 郭 理，秦怀斌，戴建国 (石河子大学信息科学与技术学院 新疆 石河子 832003) 【摘 要】：数据挖掘技术发展迅速，该技术已被广泛运用于各个领域，本文对数据挖掘技术的概念、方法、应用及今后 发展趋势进行了探讨。目的使我们对数据挖掘及应用有更加全面和全新的认识。 【关键词】：数据挖掘 概念 方法 应用 数据挖掘(Data Mining)的历史虽然较短．但从20世纪90 据，以便于符号归纳：或是把离散性数据转换为连续型数据，以 年代以来。它的发展速度很快，数据挖掘及应用的研究最近几年 便于神经网络计算)以及对数据降维(即从初始特征中找出真正 已经取得重要进展，和其他领域一样，数据挖掘研究经过不断探 有用的特征以减少数据挖掘要考虑的变量个数)。 索和发展．已经积累了一批成果。当然也出现了许多不同的观 (2)建立模型：选取数据挖掘工具提供的算法并应用于准备 点。随着该技术的日益成熟。所涉及的概念也越来越清晰。该技 好的数据，选取相应参数，生成模型。 术的应用也越来越广泛。鉴于此。本文将从数据挖掘的概念、方 (3)评估和解释模型：对模型进行比较和评估。生成一个相 法、应用几个方面对数据挖掘及应用现状进行探讨．目的使我们 对最优模型。并对此模型用业务语言加以解释。 对数据挖掘及应用有更加全面及全新的认识。 (4)运用和巩固模型：如果模型表现不好。则对模型作进一 1．数据挖掘的概念 步的考察和修正．以反映业务运作规律的变化。 1．1数据挖掘概念 (5)模型评估：对模型在实际应用中的表现进行监控，并检 自20世纪60年代以来．数据库和信息技术已经系统地从 查构建模型的每个步骤。确认其是否真正实现了预期的目的。 原始的文件处理演化到复杂的、功能强大的数据库系统。随着信 2．数据挖掘的方法P-I 息化建设的不断深入。数据库技术被广泛应用于商业管理、政府 数据挖掘的研究融合了多个不同学科领域的技术与成果． 办公、科学研究和工程开发等领域。人们积累的数据越来越多，激 使得目前的数据挖掘方法表现出多种多样的形式。 增的数据资源背后隐藏着众多重要的信息。人们希望能够对其 2．1统计分析方法 进行更高层次的分析，以便更好地利用这些数据。迫切需要有一 即利用统计学原理对数据库中的信息进行分析。从统计分 种技术能够帮助人们从数据中发掘出其内在的规律．及时发现 析类的角度来说．统计分析技术中使用的数据挖掘模型有线形 有用的知识，充分地提高信息利用率。即怎样在”数据矿山”中找 分析和非线形分析、回归分析、逻辑回归分析、单变量分析、多变 到蕴藏的”知识金块”?数据挖掘(Data Minirig)应运而生．它是信息 量分析、时间序列分析、最近序列分析、最近邻算法和聚类分析 处理技术自然演化的结果 等方法。 数据挖掘n嘬初是在 1989年 UCAj会议一数据库中的知 2．2聚类分析 识发现(Knowledge Discovery and Databases．KDD)讨论专题中提 聚类分析是根据所选样本问关联的标准将其划分成几个 出。1991年至 1994年进行了数据挖掘讨论专题 。从 1995年开 组，同组内的样本具有较高的相似度，不同组的则相异。常用的 始，KDD发展为国际年会．在 1997年创立了数据挖掘杂志一 技术有分裂算法，凝聚算法，划分聚类和增量聚类。 JoumalofData Mining and Knowledge Discovery．国内对该领域研 聚类方法适合于探讨样本间的内部关系．从而对样本结构 究稍晚．1993年国家自然科学基金开始支持该领域研究。 做出合理的评价，此外。聚类分析还用于对孤立点的检测。有时 数据挖掘的历史虽然较短．但从20世纪90年代以来．它 进行聚类不是为了将对象相聚在一起而是为了更容易地使某个 的发展速度很快。由于数据