第二章 数据仓库.pptVIP

第二章 数据仓库 第2章 数据仓库 2.1 数据仓库的体系结构 数据仓库系统的层次结构 数据集市 2.2 数据仓库构造模式 自顶向下模式 自底向上模式 2.3 数据仓库的技术要求 2.4 数据仓库的数据模型 概念模型 逻辑模型 物理模型 2.5 数据仓库数据组织 粒度 维度 元数据 数据分割 数据仓库的数据组织方式 数据仓库的数据存储组织 2.1 数据仓库的体系结构 一、 数据仓库系统的层次结构 从数据仓库系统的总体结构看，数据仓库系统应该分为三个层次：数据获取/管理层、数据存储层、数据分析/应用层。 2.1 数据仓库的体系结构 2.1 数据仓库的体系结构 1．数据获取／管理层 (1)数据仓库的定义与修改。定义数据仓库的数据来源、数据的组织方式，并根据决策的需要与环境的变化对这些内容进行修改，同时对数据仓库的元数据进行管理。 (2)数据的获取。根据已制定的规则，定期从指定的数据源中抽取源数据，并按规则对数据进行清洗、转换和集成，对数据仓库的内容定期进行校验和清理。 (3)数据仓库系统的管理。根据既定的规则和实际工作情况，实施数据仓库的维护、安全管理、备份、恢复和日志记录等工作。 2.1 数据仓库的体系结构 2．数据存储层 数据存储层是数据仓库的主体，存储的数据包括三部分： （1）从外部数据源抽取并按主题组织存放的业务数据。 （2）数据仓库的元数据 （3）针对不同的数据挖掘和分析主题而生成的数据集市。 2.1 数据仓库的体系结构 3．数据分析／应用层 满足用户的查询需要，并以适当的方式向用户展示查询、分析的结果。数据分析/应用层的主要包括以下功能。 (1) 查询／统计服务。为用户提供常规的查询检索、简单统计和报表等服务，这是数据仓库最基本的功能。 (2) OLAP服务。对于以多维数据库方式进行数据组织的数据仓库，OLAP是一种极为有效的分析方法，它通过上卷、下钻、切片、切块和旋转等操作，对多维数据库进行深入的分析。 (3) 数据挖掘服务。数据挖掘服务是数据仓库系统的一种深层次应用，它是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取出隐含在其中的、不为人们所知的、但又是十分有用的信息和知识的过程 二、数据集市 1、数据集市的类型 数据集市为部门及的数据仓库，可以分为两种，一种是独立数据集市,另一种是从属数据集市。 2 数据集市 2、数据集市的特点 数据集市除具有数据仓库的基本特征以外，还具有以下特点： （1）规模较小、灵活，可以按照多种方式来组织，如按特定的分析应用、部门、地域、主题等。 （2）开发工作一般由业务部门主持定义、设计、实施、管理和维护。 （3）能够快速实现，代价较低，投资回收期短，风险小。 （4）有利于进一步升级到完整的数据仓库或形成分布式数据仓库。 2.2 数据仓库的构造模式 构造一个完整的数据仓库，是十分复杂的过程。通常有以下两种模式： （1）数据仓库的自顶向下结构，这是最早提出的数据仓库结构。 （2）数据仓库的自底向上结构，核心是通过独立开发的数据集市逐渐构建数据仓库。 1、自顶向下模式 2、自底向上模式 2.3 数据仓库的技术要求 1.数据管理技术 大批量数据管理技术 数据仓库的高效率索引技术 数据仓库的数据监控技术 元数据管理技术 数据压缩技术 复合键码技术 数据装载技术 2.3 数据仓库的技术要求 （1）大批量数据管理技术 在数据仓库的所有技术中最重要的是管理大批量数据技术。如果不能管理大批量数据，那么数据仓库的创建与使用是不可能的。 （2）数据仓库的高效率索引技术 数据仓库中对数据的访问应有灵活性，即对数据具有快速和易访问的能力。显然，如果数据不能被方便地检索和访问，数据仓库很难适应大数据量存储和处理的要求。因此，支持辅助索引、稀疏索引、动态索引和临时索引等的索引技术就变得十分重要，还必须考虑创建索引和使用索引的代价等。 2.3 数据仓库的技术要求 （3）数据仓库的数据监控技术 能够随时监控数据仓库有许多方面的原因，包括： A.决定是否对数据进行重组。 B.决定索引结构的有效性。 C.决定数据仓库中的数据是否溢出。 D.决定数据的统计组成。 E.决定剩余可用空间。 2.3 数据仓库的技术要求 （4）元数据管理技术 A.数据仓库表结构。 B.数据仓库表属性。 C.数据仓库数据源。 D.从记录系统到数据仓库的映射。 E.数据模式说明。 F.数据抽取和转换。 G.通用数据访问例程。