第一章__数据仓库与数据挖掘概述.pptVIP

华北电力大学控制与计算机学院 参考书 1、《数据仓库与数据挖掘》， 作者：陈志泊主编，清华大学出版社 2、《数据挖掘概念与技术》，JiaweiHan Micheline Kamber 著 范明 等译，机械工业出版社 第1章 数据仓库与数据挖掘概述 数据处理技术的发展 数据库与数据库技术 数据仓库的发展 联机分析处理技术（OLAP） 数据挖掘技术 数据仓库的定义 数据仓库的体系结构 从传统数据库到数据仓库 数据仓库的基本特性 联机分析处理技术（OLAP） 数据挖掘技术 数据挖掘的定义 数据挖掘的过程 数据挖掘的类型 数据挖掘应用 第1章 数据仓库与数据挖掘概述 数据爆炸问题 随着信息技术的不断推广和应用，许多企业都已经在使用管理信息系统处理管理事务和日常业务。这些管理信息系统为企业积累了大量的信息。 从数据中获得知识 企业管理者开始考虑如何利用这些信息海洋对企业的管理决策提供支持。因此，产生了与传统数据库有很大差异的数据环境要求和从这些海洋数据中获取特殊知识的工具需要。 解决方法：数据仓库技术和数据挖掘技术 数据仓库(Data Warehouse)和在线分析处理(OLAP) 数据挖掘：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束） 数据处理技术的发展 1960s和以前: 文件系统 1970s: 层次数据库和网状数据库 1980s早期: 关系数据模型, 关系数据库管理系统(RDBMS)。 1980s晚期: 各种高级数据库系统（面向应用的数据库系统 、空间数据库 时序数据库、多媒体数据库等等）。 1990s: 数据挖掘, 数据仓库。 2000s： 基于各种应用的数据挖掘、XML数据库和整合的信息系统 数据库与数据库技术 1、数据库系统 数据库是按一定组织方式存储在计算机中的相互关联的数据集合,数据库的建立独立于程序。数据库管理系统是一个管理数据库的软件系统,它为用户提供了描述数据库、操纵数据库和维护数据库的方法和命令，并且能自动控制数据库的安全以及数据完整。 2、数据库系统的特点 1. 数据的结构化 2. 数据的共享性 3. 数据的独立性 4. 数据统一由DBMS管理和控制 (1)数据的安全性 (2)数据的完整性 (3)并发控制 (4)数据库恢复 数据仓库的发展 从传统数据库到数据仓库 随着市场竞争的加剧，信息系统的用户已经不满足于仅仅用计算机去处理每天所发生的事务数据，而是需要信息——能够支持决策的信息，去帮助管理决策。这就需要一种能够将日常业务处理中所收集到的各种数据转变为具有商业价值信息的技术，传统数据库系统无法承担这一责任。因为传统数据库的处理方式和决策分析中的数据需求不相称。这些不相称性主要表现在决策处理中的系统响应问题、决策数据需求的问题和决策数据操作的问题。 数据库处理的两大应用 1、联机事务处理（OLTP） 2、决策支持系统（DSS） 数据仓库的发展 联机事务处理（OLTP） 操作型处理，为企业的特定应用服务 是对数据库的联机的日常操作，通常是对一个或一组记录的查询和修改 人们关心的是响应时间、数据的安全性和完整性 处理的是当前的数据。 数据仓库的发展 决策支持系统（DSS） 分析型处理，用于管理人员的决策分析 经常需要访问大量的历史数据 数据操作的特点：只查询，不更新。 数据仓库 + 联机分析处理 + 数据挖掘 （ DW + OLAP + DM ）→ DSS 数据仓库的发展 传统数据库在联机事物处理中取得了较大的成功,但在基于事物处理的数据库帮助决策分析时却产生了很大的困难。主要原因是传统数据库的处理方式和决策分析中的数据需求不相称，导致传统数据库无法支持决策分析活动。这些不相称主要体现在如下几个方面： (1) 决策处理的系统响应问题 (2) 决策数据需求的问题 (3) 决策数据操作的问题 数据仓库的发展 联机分析处理技术（OLAP） 联机分析处理OLAP (On-Line Analytical Processing)应用是不同于与联机事务处理(OLTP)的一类应用。它专门设计用于支持复杂的分析操作，侧重对分析人员和高层管理人员的决策支持，可以应分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观易懂的形式将查询结果提供给决策制定人，以便他们准确掌握企业（公司）的经营状况，了解市场需求，制定正确方案，增加效益。 数据挖掘技术 数据挖掘（Data Mining，简记为DM）是从关系数据库、数据仓库、WEB数据库以及其他文件系统