基于数据仓库的通用ETL 工具的设计与实现.docxVIP

? 214?计算机应用研究基于数据仓库的通用 ETL工具的设计与实现陈弦,陈松乔(中南大学信息科学与工程学院 ,湖南长沙 410083)2004年摘要 :讨论了一种基于异构数据源通用 ETL工具的设计方法和实现过程 ,它能实现异种数据源的数据转换 ,并将数据装载到中心数据库中 ,具有一定易用性、灵活性和扩展性。该工具根据索引库来获得目标数据库与源数据库的映射关系。关键词 : ETL;异构数据 ;索引库中图法分类号 : TP311文献标识码 : A文章编号 : 1001- 3695( 2004) 08- 0214 - 03Design and Implementation of General ETL ToolBased on Data WarehouseCHEN Xian, CHEN Song- qiao( College of Information Science Engineering, Central South University, Changsha Hunan 410083, China)Abstract: In this article, design methods and implementation techniques are discussed to realize the ETL among heterogeneousdata sources based on all kinds of database. The general ETL tool with better flexibility, extensibility and capability of errorhandling has efficiently realized the transforming of Heterogeneous data and loading data into center database. The tool gain themapping relationship between target database and sourse database according to index database.Key words: ETL; Heterogeneous Data; Index Database1引言ETL同时提供数据质量的管理 ,并且贯穿到整个商务智能解决方案的全过程 ,完成整个系统的数据处理与调度。数据仓库中的数据来自于多种业务数据源 ,这些数据源可能是在不同的硬件平台上 ,使用不同的操作系统,因而数据以不同的格式存在于不同的数据库中。如何向数据仓库中加载这些数量大、种类多的数据,已成为建立数据仓库所面临的一个关键问题。由于不同的事务处理系统必将用到不同的数据库系统 ,包括不同的关系型数据库 ,非关系型数据库 ,甚至文件系统等。如有的采用 Oracle数据库管理系统 ,有的采用 Mi-crosoft SQL Server数据库管理系统等 ,先要建立全局的企业级Intranet,要求这些不同部门间做到数据共享 ,实现全局数据一致性 ,并提供全局 Web查询和决策分析。通常 ,企业的数据源分布在各个子系统和节点中,利用 ETL将各地方业务系统上的数据进行抽取、清洗和转换处理 ,然后加载到目的数据库。因为现有业务数据源多 ,保证数据的一致性 ,真正理解数据的业务含义 ,跨越多平台、多系统整合数据,最大可能提高数据的质量,迎合业务需求不断变化的特性,是 ETL技术处理的关键。ETL是指从源文件或源数据库中获取数据,并经过清洗、转换、集成后 ,将其加载到数据仓库的过程。其中清洗是指去除那些在给定范围之外或不符合数据仓库要求的数据的操作。转换是将操作数据转换成另一种格式以更加适用于数据仓库设计。在大多数情况下,转换是将数据汇总 ,以使它更有意义。为了从异构数据源中转换和集成数据 ,各数据库厂商和其他软件开发商提供了很多专用工具来提取和转换数据。例如 ,Oracle的 SQL* LOADER可以转换一定格式的文本文件,新推出的 Oracle Migration Workbench可以将大量非 Oracle对象及数据移植到 Oracle 9i平台; Microsoft SQL Server的数据转移服务 ( DTS) ,允许用户在多种数据源之间输入和输出数据或在使用 SQL Server的多个计算机之间转移数据库和数据库对象。这些工具主要通过 Open Gateway(数据库网关 )来完成异构数据库之间的互访 ,在一定范围内解决了数据的提取和转换。但是 ,这些工具都有一定的局限性 :它们是属于特定的数据库系统的 ,较依赖于具体的数据库厂商提供的产品 ,通用性不强 ;不能自动完成数据的抽取 ,用户还需利