人工智能 数据挖掘.docVIP

数据挖掘技术综述 摘要：随着信息技术迅速发展，数据库的规模不断扩大，产生了大量的数据。但大量的数据往往无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（Data Mining）技术由此应运而生。本文主要介绍了数据挖掘的基本概念数据挖掘 关键字：数据挖掘 数据挖掘工具QUEST DBMiner 网站数据挖掘2数据挖掘技术 2.1数据挖掘的概念 数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。数据挖掘是指一个完整的过程，该过程从大型数据库中挖掘先前未知的、有效的、可实用的信息，并使用这些信息做出决策或丰富知识。在数据挖掘技术日益发展的同时，许多数据挖掘的商业软件工具也逐渐问世。数据挖掘工具主要有两类：特定领域的数据挖掘工具和通用的数据挖掘工具。 特定领域的数据挖掘工具针对某个特定领域的问题提供解决方案。在设计算法的时候，充分考虑到数据、需求的特殊性，并作了优化。对任何领域，都可以开发特定的数据挖掘工具。例如，IBM公司的AdvancedScout系统针对NBA的数据，帮助教练优化战术组合；加州理工学院喷气推进实验室与天文科学家合作开发的SKICAT系统，帮助天文学家发现遥远的类星体；芬兰赫尔辛基大学计算机科学系开发的TASA，帮助预测网络通信中的警报。 特定领域的数据挖掘工具针对性比较强，只能用于一种应用；也正因为针对性强，往往采用特殊的算法，可以处理特殊的数据，实现特殊的目的，发现的知识可靠度也比较高。 通用的数据挖掘工具不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型，一般提供六种模式。例如，IBM公司Almaden研究中心开发的QUEST系统，加拿大SimonFraser大学开发的DBMiner系统SGI公司开发的MineSet系统。通用的数据挖掘工具可以做多种模式的挖掘，挖掘什么、用什么来挖掘都由用户根据自己的应用来选择。 下面简单介绍种数据挖掘工具： 1.QUEST QUEST是IBM公司Almaden研究中心开发的一个多任务数据挖掘系统，目的是为新一代决策支持系统的应用开发提供高效的数据开采基本构件。系统具有如下特点： 提供了专门在大型数据库上进行各种开采的功能：关联规则发现、序列模式发现、时间序列聚类、决策树分类、递增式主动开采等。 各种开采算法具有近似线性（O(n)）计算复杂度，可适用于任意大小的数据库。 算法具有找全性，即能将所有满足指定类型的模式全部寻找出来。 为各种发现功能设计了相应的并行算法。　.DBMiner DBMiner是加拿大SimonFraser大学开发的一个多任务数据挖掘系统，它的前身是DBLearn。该系统设计的目的是把关系数据库和数据开采集成在一起，以面向属性的多级概念为基础发现各种知识。DBMiner系统具有如下特色： 能完成多种知识的发现：泛化规则、特性规则、关联规则、分类规则、演化知识、偏离知识等。 综合了多种数据开采技术：面向属性的归纳、统计分析、逐级深化发现多级规则、元规则引导发现等方法。 实现了基于客户/服务器体系结构的Unix和PC（Windows/NT）版本的系统。提出了一种交互式的类SQL语言——数据开采查询语言DMQL。 3数据挖掘未来的研究方向和热点 3.1数据挖掘未来的研究方向 当前，研究方兴未艾，其研究与开发的总体水平相当于数据库技术在70年代所处的地位，迫切需要类似于关系模式、DBMS系统和SQL查询语言等理论和方法的指导，才能使的应用得以普遍推广。预计在本世纪的研究还会形成更大的高潮，研究焦点可能会集中到以下几个方面： 寻求数据挖掘过程中的可视化方法，使知识发现的过程能够被用户理解，也便于在知识发现的过程中进行人机交互； 发现语言的形式化描述，即研究专门用于知识发现的数据挖掘语言，也许会像SQL语言一样走向形式化和标准化； 研究在网络环境下的数据挖掘技术（WebMining），特别是在因特网上建立服务器，并且与数据库服务器配合，实现WebMining； 处理的数据将会涉及到更多的数据类型，这些数据类型或者比较复杂，或者是结构比较独特。为了处理这些复杂的数据，就需要一些新的和更好的分析和建立模型的方法，同时还会涉及到为处理这些复杂或独特数据所做的费时和复杂数据准备的一些工具和软件。加强对各种非结构化数据的开采（DataMiningforAudio＆Video），如对文本数据、图形数据、视频图像数据、声音数据乃至综合多媒体