4数据挖掘概念与技术_第三章_数据仓库和OLAP技术1.pptxVIP

数据挖掘：概念与技术 — 第三章：数据仓库与OLAP技术概述 —第三章：数据仓库与OLAP技术概述什么是数据仓库? 多维数据集模型数据仓库体系结构数据仓库实现从数据仓库到数据挖掘什么是数据仓库?多种定义方式，但不严格从组织机构的操作数据库分离并独立维护的决策支持数据库支持信息处理，为统一的历史数据分析提供坚实的平台数据仓库是一个面向主题的、集成的、时变的和非易失的数据集合，支持管理部门的决策过程。W. H. Inmon建立数据仓库：构建和使用数据仓库的过程数据仓库—面向主题的围绕主题组织数据, 如顾客、产品、销售等。关注决策者的数据建模与分析，而不是组织机构的日常操作和事务处理。提供特定主题的简明视图，排除对于决策支持过程无用的数据。数据仓库——集成的由多个异构数据源集成构建关系数据库,平面文件,联机事务记录应用数据清理和数据集成技术确保命名约定，编码结构，属性度量等一致性将数据迁入数据仓库时需要进行数据转换数据仓库——时变的数据仓库中数据的时间范围比业务操作系统中长得多业务操作数据库：当前数据数据仓库：提供历史数据信息 (如过去5-10年)数据仓库中的结构主键：都隐式或显示包含时间元素但业务操作数据主键不一定包含时间元素数据仓库——非易失的物理存储：与操作环境分离，虽然来自其中。数据仓库环境中不发生数据更新操作不需要事务处理，恢复和并发控制机制只需要两种数据操作：i数据初始化装入数据访问数据仓库与异构数据库传统异构数据库集成：查询驱动方法在异构数据库上建立包装程序和集成程序（中介程序）提交查询时，使用元数据字典将查询转换为异构站点上的查询。然后将查询映射和发送到局部查询处理器，由不同站点返回的结果集成为全局查询结果集。复杂的信息过滤和集成处理，与局部数据源的处理竞争资源数据仓库:更新驱动方法，高性能将异构源的信息预先集成并存储在数据仓库中，供直接查询和分析不包含最近的信息支持复杂多维查询数据仓库与业务操作数据库OLTP (on-line transaction processing)，联机事务处理传统关系数据库管理系统的主要任务日常操作：购物，库存，制造，银行，工资，注册，记账等。OLAP (on-line analytical processing)，联机分析处理数据仓库系统的主要任务数据分析和决策制定区别 (OLTP vs. OLAP):用户和系统的面向性：顾客——事务和查询（办事员，打工仔）与市场——数据分析（知识工人，老板）数据内容： 当前的，细节的 vs. 历史的, 汇总聚集的数据库设计： E-R + 业务应用 vs. 星形、雪花型 + 主题视图： 当前的,局部的 vs. 进化的,集成的访问模式: 更新 vs. 只读 但查询复杂OLTP vs. OLAP为什么需要分离数据仓库?提高两个系统的系能DBMS— tuned for OLTP: access methods, indexing, concurrency control, recoveryWarehouse—tuned for OLAP: complex OLAP queries, multidimensional view, consolidation不同的功能和不同的数据:数据不全: Decision support requires historical data which operational DBs do not typically maintain数据聚合: DS requires consolidation (aggregation, summarization) of data from heterogeneous sources数据质量: different sources typically use inconsistent data representations, codes and formats which have to be reconciledNote: 越来越多的系统直接在DBMS上进行Chapter 3: Data Warehousing and OLAP Technology: An OverviewWhat is a data warehouse? A multi-dimensional data modelData warehouse architectureData warehouse implementationFrom data warehousing to data mining由表和电子数据表到数据立方体数据仓库和OLAP工具基于多维数据模型，以数据立方体的方式观察数据数据立方体,如销售, 从多维角度对数据建模和观察维度表, 如 item (item_name, brand, type), or t