数据仓库设计和护的研究与实践.pdfVIP

摘 要 数据仓库技术是信息技术自然演化的结果 由于企业和机关对新的数据处理方 法和模式的迫切要求 数据处理的重点从传统的业务处理扩展到在线分析处理 重 在从中得到面向各种主题的统计信息和决策支持信息 数据仓库技术是一种全新的 技术解决方案 融合了数据清洗 数据转换 数据装载(ETL 技术) 和联机分析处理 (OLAP)技术 一般来说 在数据仓库建成之后 数据仓库的维护管理具有非常大的现实意义 其中怎样对数据仓库进行增量更新更是一个难点 首先 本文就研究背景 目的意义和当前研究热点进行了综述 并全面的介绍 了数据仓库的基本概念 数据仓库的体系结构以及它们的特点 数据仓库的数据组 织结构(介绍了数据仓库的逻辑结构 粒度 元数据等重要概念) 联机分析处理技 术的体系结构以及多维数据的分析操作 随后 深入探讨了ETL 技术的体系结构 并从应用的角度具体论述了ETL 的应 用过程 阐述了怎样在实际应用中进行数据提取 数据清洗和转换 数据加载 ETL 的调度控制 监控等工作 并且介绍了两种比较成熟的数据仓库解决方案 最后 以浙江省暂住人口信息系统为背景 按照数据仓库的设计方法 构建了 雪花型的暂住人口数据仓库 并在此数据仓库的基础上 集中探讨了数据仓库增量 更新的方法 进行了时间戳 通过Oracle 透明网关对SQL Server 数据仓库进行CDC 更新的实践 接着阐述了数据仓库在维护管理过程中需要注意的问题 数据仓库技术为各种形式的信息处理提供了理想的基础 结合数据挖掘和知识 发现技术的发展 具有广阔的发展空间 关键词 数据仓库技术 数据清洗 数据转换 数据加载 增量维护 时间戳 Oracle 透明网关 变化数据捕获 I Abstract Data warehousing technology is the evolvement result of information technology. On account of the urgent request of the enterprises and departments for new data operation methods and patterns, the stress of data operation expands from traditional OLTP to OLAP. People focus on the subject-oriented statistical information and DSS information. Data warehousing technology is one kind of completely new scheme, which syncretizes the ETL technology and the OLAP technology. Generally, after the establishment of DW, the maintenance and management of DW have great practical significance. Thereinto, it is difficult to incrementally maintain the DW. At first, this paper presents the researchful background, purpose, significance and the current research of DW, introduces the basic concepts of DW, the system framework of DW and their characteristics, the data structure of DW(including logic structure, units, metadata),