大数据时代的数据挖掘与商务智能(四)要点.pptVIP

* 第一代数据挖掘软件 CBA新加坡国立大学基于关联规则的分类算法，能从关系数据或者交易数据挖掘关联规则，使用关联规则进行分类和预测 * 数据挖掘软件的发展 第二代数据挖掘软件 特点 与数据库管理系统（DBMS）集成 支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性 能够挖掘大数据集、以及更复杂的数据集 通过支持数据挖掘模式（data mining schema）和数据挖掘查询语言增加系统的灵活性 典型的系统如DBMiner，能通过DMQL挖掘语言进行挖掘操作 缺陷 只注重模型的生成，如何和预言模型系统集成导致了第三代数据挖掘系统的开发 * 数据挖掘软件的发展 第二代数据挖掘软件 DBMiner * 数据挖掘软件的发展 第二代软件 SAS Enterprise Miner * 数据挖掘软件的发展 第三代数据挖掘软件 特点 和预言模型系统之间能够无缝的集成，使得由数据挖掘软件产生的模型的变化能够及时反映到预言模型系统中 由数据挖掘软件产生的预言模型能够自动地被操作型系统吸收，从而与操作型系统中的预言模型相联合提供决策支持的功能 能够挖掘网络环境下（Internet/Extranet）的分布式和高度异质的数据，并且能够有效地和操作型系统集成 缺陷 不能支持移动环境 * 数据挖掘软件的发展 第三代软件 SPSS Clementine 以PMML的格式提供与预言模型系统的接口 * 数据挖掘软件的发展 第四代数据挖掘软件 特点 目前移动计算越发显得重要，将数据挖掘和移动计算相结合是当前的一个研究领域。 第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在（ubiquitous）计算设备产生的各种类型的数据 第四代数据挖掘原型或商业系统刚刚起步，PKDD2001上Kargupta发表了一篇在移动环境下挖掘决策树的论文，Kargupta是马里兰巴尔的摩州立大学（University of Maryland Baltimore County）正在研制的CAREER数据挖掘项目的负责人，该项目研究期限是2001年4月到2006年4月，目的是开发挖掘分布式和异质数据（Ubiquitous设备）的第四代数据挖掘系统。 * 数据挖掘软件的发展 第一代系统与第二代相比因为不具有和数据管理系统之间有效的接口，所以在数据预处理方面有一定缺陷 第三、四代系统强调预言模型的使用和在操作型环境的部署 第二代系统提供数据管理系统和数据挖掘系统之间的有效接口 第三代系统另外还提供数据挖掘系统和预言模型系统之间的有效的接口 目前，随着新的挖掘算法的研究和开发，第一代数据挖掘系统仍然会出现，第二代系统是商业软件的主流，部分第二代系统开发商开始研制相应的第三代数据挖掘系统，比如 IBM Intelligent Score Service。第四代数据挖掘原型或商业系统刚刚起步。 * 数据挖掘软件的发展 数据挖掘软件发展的三个阶段 独立的数据挖掘软件 横向的数据挖掘工具集 纵向的数据挖掘解决方案 Gregory Piatetsky-Shapiro的观点（the President of KDnuggets ） * 数据挖掘软件的发展 独立的数据挖掘软件（95年以前） 特点 独立的数据挖掘软件对应第一代系统，出现在数据挖掘技术发展早期，研究人员开发出一种新型的数据挖掘算法，就形成一个软件。 这类软件要求用户对具体的算法和数据挖掘技术有相当的了解，还要负责大量的数据预处理工作。比如C4.5决策树，平行坐标可视化（parallel-coordinate visualization）。 * 横向的数据挖掘工具集（95年开始） 发展原因 随着数据挖掘应用的发展，人们逐渐认识到数据挖掘软件需要和以下三个方面紧密结合：1）数据库和数据仓库；2）多种类型的数据挖掘算法；3）数据清洗、转换等预处理工作。 随着数据量的增加，需要利用数据库或者数据仓库技术进行管理，所以数据挖掘系统与数据库和数据仓库结合是自然的发展。 现实领域的问题是多种多样的，一种或少数数据挖掘算法难以解决 挖掘的数据通常不符合算法的要求，需要有数据清洗、转换等数据预处理的配合，才能得出有价值的模型 * 横向的数据挖掘工具集（95年开始） 发展过程 随着这些需求的出现，1995年左右软件开发商开始提供称之为“工具集”的数据挖掘软件 特点 此类工具集的特点是提供多种数据挖掘算法 包括数据的转换和可视化 由于此类工具并非面向特定的应用，是通用的算法集合，可以称之为横向的数据挖掘工具（Horizontal Data Mining Tools） 由于此类工具并非面向特定的应用，是通用的算法集合，所以称之为横向的数据挖掘工具 典型的横向工具有IBM In