数据仓库（DW）与数据集市以及OLAP与数据挖掘DM之关系.pdfVIP

数据仓库(DW)与数据集市(DATAMART)以及OLAP与数据挖掘DM之关系：

首先，让我们了解一下基本的数据仓库定义。

建立数据仓库是一个创建、维护和查询的过程。

RalphKimball将数据仓库定义为“满足查询和分析的事务处理数据的拷贝的特定结构”。

创建数据仓库的过程包括数据仓库的逻辑模型和物理数据库。

维护的过程包括ETL过程，即将数据从OLTP系统中抽取到数据仓库。

查询的过程是从数据仓库中收集信息。

简单来说，数据仓库是一个从数据中获取信息的结构。

BI创建:逻辑模型和物理数据库

Date

维护：ETL，数据从OLTP

Warehous系统中抽取到数据仓库

查询：数据仓库中收集信息

特面向主题的

性集成的

非易失的

随时间变化的

数据仓库是BI的基础，就好比厨师的食材。各个数据源的数据经ETL的预处理后，就被送进了数

据仓库中。数据仓库有如下４个重要特性：

①面向主题的：不同类型的公司，其主题集合是不相同的。

②集成的：数据仓库的数据来源很广，数据仓库最重要的目的就是为了集成这些不同数据源的数

据。

③非易失的：和传统的操作型数据库系统相比，数据仓库通常是以批量方式载入和访问。而且，对

于数据仓库中的记录，并不进行一般意义上的数据更新，删除。所有的历史数据都会被保留，通常

我们只是不停的批量导入新的数据。

④随时间变化的：操作型数据库系统出于性能上的考虑，并不保存系统投入运行后所产生的所有数

据，一般只保留必威体育精装版的60~90天内所产生的数据记录。而且，通常情况下，操作型数据库中一项业

务活动只占用一条记录。当业务状况发生变化后，我们只需更新相应的记录。而为了按时间变化发

掘业务活动的时序规律，数据仓库中，该业务活动可能同时存在多条记录，除了相应字段的内容不

同外，其业务活动的时间记录也不相同。数据仓库中的数据是一系列在某时某刻生成的复杂的快

照，由此可见，数据仓库的数据是高度冗余且必须的。

而且，由于数据仓库的使用对象不尽相同，数据仓库的设计需要考虑其数据单元的细节程度，即粒

度。细节程度越高，粒度级就越低，反之亦然。例如：一个简单的交易处于低粒度级，而每个月所

有交易的汇总则处于一个高粒度级。通常，数据分析人员使用的数据粒度较低，而高层管理人员所

使用的数据粒度较高。粒度同时决定了数据仓库所占用的物理空间的大小，尽管一条交易记录可能

只占用200个字节，但是一个月所累积的10万条交易记录就占用了20M个字节。如果按月对每月

的所有交易记录进行综合，所得到的记录可能只占用500个字节。

数据仓库通常的活动是批量载入和查询访问，并不进行一般意义的数据更新，而且其数据冗余程度

较高。为了提高查询效率，我们可以采用一些非常规的方法来进行数据分区存储。而且，我们需要

对数据仓库中的数据进行方便且有效的监控。

提供数据仓库技术服务的软件厂商大多是从操作型数据库系统发展起来，其推出的数据仓库都是基

于其自身研发的大型数据库产品上，且捆绑了相应的ETL，元数据，OLAP，报表等工具，如IBM

的DM2，SAS，Sybase，Oracle，Informix，MSSQLServer等。

在本节末要说明一下数据集市(DataMart)。如果说数据仓库是建立在企业级的数据模型之上的话。

那么数据集市就是企业级数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主

题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。然而，由于各个数据集市之间彼此独

立，从而形成新的“信息孤岛”，也造成了重复投资。所以，目前越来越多的数据仓库厂商开始提供

帮助企业用户整合原有数据集市，构建集中数据仓库的技术服务。在实际项目中，到底是选择数据

仓库，还是选择数据集市，应取决于该项目的主要商业驱动。如果企业正忍受糟糕的数据管理和不

一致的数据，希望为今后打下良好的基础，则数据仓库的方案比