基于Spring框架的ETL工具的研究与实现-计算机应用专业论文.docxVIP

兰州大学硕士研究生学位论文 兰州大学硕士研究生学位论文 基于Spring框架的ETL_I：K晰JT究与实现 摘要 ETL(E)【tracti册．Tfansfo肌撕0n勘ading)是从多个业务数据源中抽取数据，并 依据业务需求对数据进行清洗、转换，最终载入目标数据仓库的过程。是数据仓 库构建的主要过程。本文研究了ETL过程的关键理论问题，设计并实现了一个 基于元数据模型的引擎式ETL工具JETL。’ 本文从DWQ模型中抽象出JETL基于元数据库的理论模型。在JETL的设 计上，采用了元数据上下文驱动数据转换引擎的模式。JETL的实现基于轻量级 J2EE框架Spring，该框架很好的满足了JETL引擎式的设计。本文利用Spring 的IoC技术，解决了ETL过程中的数据源统一，转换引擎驱动和工作流调度问 题：利用Spring对DAO模式的良好支持实现了JETL的持久层；利用Spring强 大的XML bean配置方式实现了ETL过程的元数据管理。 本文还讨论了JETL在某商业银行综合报表与决策支持系统中的应用，并基 于应用实践提出了JElL的过程管理方法论。最后基于理论研究和应用实践提出 了JETL的改进方案和后续研究方向。 关键字：数据仓库、ETL、元数据、Spring、DAO 兰州大学硕士研究生学位论文 兰州大学硕士研究生学位论文 基于Spring框架的ETL T具的研究与实现 Abstract ETL(Extraction—Transformation—Loading)is a process responsible for the extraction of data from several sources，their transformation，cleansing and loading into a target Data Warehouse and which is a crucial step in the building of Data Warehouse．This paper researches the key problems related to ETL process and discusses the implementation of an engine-based ETL tool，JETL The theory model of JETL is based on DWQ．The core design of JETL is an engine driven by a metadata repository．The implementation’of JETL is based Oil the Spring framework which is compatible to the design pattern of JETL．The key problems of ETL process,such as data source integration，driving of transformation engine and schedule of workflow are resolved uSing the IoC mechanism of Spring The persistent layer of JETL relay on the Springs DAO support The metadata management takes advantage of the power and flexibility of Springs XML bean configuration pattern． In addition，we present the application of JETL in the Comprehensive Report Management and Decision Support System and propose a methodology in an engineering process management perspective．In the end,we discuss the improvements ofJETL md the flllther research problems． Key Words：Data Warehouse,ETL)metadata,Spring DAO II 原创性声明本人郑重声明：本人所呈交的学位论文，是