数据仓库与数据集市以及LA与数据挖掘M之关系.docVIP

数据仓库(DW)与数据集市以及OLAP与数据挖掘DM之关系： 首先，让我们了解一下基本的数据仓库定义。建立数据仓库是一个创建、维护和查询的过程。Ralph Kimball 将数据仓库定义为“满足查询和分析的事务处理数据的拷贝的特定结构”。创建数据仓库的过程包括数据仓库的逻辑模型和物理数据库。维护的过程包括ETL 过程，即将数据从OLTP 系统中抽取到数据仓库。查询的过程是从数据仓库中收集信息。简单来说，数据仓库是一个从数据中获取信息的结构。 BI( 数据仓库是BI 的基础，就好比厨师的食材。各个数据源的数据经ETL 的预处理后，就被送进了数据仓库中。数据仓库有如下４个重要特性： ①面向主题的：不同类型的公司，其主题集合是不相同的。 ②集成的：数据仓库的数据来源很广，数据仓库最重要的目的就是为了集成这些不同数据源的数据。 ③非易失的：和传统的操作型数据库系统相比，数据仓库通常是以批量方式载入和访问。而且，对于数据仓库中的记录，并不进行一般意义上的数据更新，删除。所有的历史数据都会被保留，通常我们只是不停的批量导入新的数据。 ④随时间变化的：操作型数据库系统出于性能上的考虑，并不保存系统投入运行后所产生的所有数据，一般只保留必威体育精装版的60~90 天内所产生的数据记录。而且，通常情况下，操作型数据库中一项业务活动只占用一条记录。当业务状况发生变化后，我们只需更新相应的记录。而为了按时间变化发掘业务活动的时序规律，数据仓库中，该业务活动可能同时存在多条记录，除了相应字段的内容不同外，其业务活动的时间记录也不相同。数据仓库中的数据是一系列在某时某刻生成的复杂的快照，由此可见，数据仓库的数据是高度冗余且必须的。 而且，由于数据仓库的使用对象不尽相同，数据仓库的设计需要考虑其数据单元的细节程度，即粒度。细节程度越高，粒度级就越低，反之亦然。例如：一个简单的交易处于低粒度级，而每个月所有交易的汇总则处于一个高粒度级。通常，数据分析人员使用的数据粒度较低，而高层管理人员所使用的数据粒度较高。粒度同时决定了数据仓库所占用的物理空间的大小，尽管一条交易记录可能只占用200 个字节，但是一个月所累积的10 万条交易记录就占用了20M个字节。如果按月对每月的所有交易记录进行综合，所得到的记录可能只占用500 个字节。 数据仓库通常的活动是批量载入和查询访问，并不进行一般意义的数据更新，而且其数据冗余程度较高。为了提高查询效率，我们可以采用一些非常规的方法来进行数据分区存储。而且，我们需要对数据仓库中的数据进行方便且有效的监控。 提供数据仓库技术服务的软件厂商大多是从操作型数据库系统发展起来，其推出的数据仓库都是基于其自身研发的大型数据库产品上，且捆绑了相应的ETL，元数据，OLAP，报表等工具，如IBM 的DM2，SAS，Sybase，Oracle，Informix，MSSQL Server 等。 在本节末要说明一下数据集市(Data Mart)。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。然而，由于各个数据集市之间彼此独立，从而形成新的“信息孤岛”，也造成了重复投资。所以，目前越来越多的数据仓库厂商开始提供帮助企业用户整合原有数据集市，构建集中数据仓库的技术服务。在实际项目中，到底是选择数据仓库，还是选择数据集市，应取决于该项目的主要商业驱动。如果企业正忍受糟糕的数据管理和不一致的数据，希望为今后打下良好的基础，则数据仓库的方案比较好。如果该企业迫切需要给用户提供信息，那么可以先构建一个数据集市。而一旦满足了迫切的信息需求后，就应该考虑包含独立数据仓库的数据体系结构的转换计划。 除了相应字段的内容不同外，其业务活动的时间记录也不相同。数据仓库中的数据是一系列在某时某刻生成的复杂的快照，由此可见，数据仓库的数据是高度冗余且必须的。 数据分析：OLAP 和数据挖掘 OLAP 与数据挖掘是一个有机的整体，在OLAP 中必定要针对不同的主题数据仓库采用相应的数据挖掘算法来进行数据分析。如果把数据仓库对BI 系统的作用比作厨师的食材，那么，OLAP 和数据挖掘则是厨具。 联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd 于1993 年提出的，其目的是为了让管理者灵活地对海量数据进行浏览分析。当时,Codd 认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL 对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此Codd 提出了多维数据库和多维分析的概念,即OLAP。Codd 提出O