LCAM评估决策系统 ETL简单开发培训过程示例.docVIP

LCAM评估决策系统 ETL培训资料_V1.0 2011年7月4日星期一 北京 曹毅 什么是ETL。 ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL工具有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、、AICloudETL、DataStage、Repository Explorer、Beeload、Kettle、DataSpide 国网ETL工具Informatica PowerCenter。 目前国网购买并统一使用的ETL工具是Informatica公司的PowerCenter 8.1.1版。Informatica公司将PowerCenter定义为高度可扩展的、高度可用的、高性能是实际执行数据抽取任务的运行环境 LCAM评估决策系统PowerCenter实施需要了解的情况。 一般来说，各个项目实施现场的数据中心都应该有安装了PowerCenter服务器端的专门的ETL服务器。所以首先我们需要与数据中心确认数据中心是否有单独的ETL服务器，或者其他项目组是否有用到PowerCenter的（用到了Sybase IQ数据仓库的项目一般都会用到PowerCenter，北京LCAM评估决策系统项目组的PowerCenter就是跟北京IAS项目组共用Sybase IQ和PowerCenter的服务器），如果有我们就申请使用这个服务器。数据中心也应该有专门的做ETL的人员，我们应该尽量申请让这些人员来帮助我们进行ETL的工作。共用一个PowerCenter服务器有两种比较常见的模式，第一种是建立我们自己的知识库，然后在自己的知识库中建立文件夹、映射（Mapping）、工作流（Workflow）等，详见“Informatica PowerCenter服务器的配置“及以后的内容；第二种是共用一个知识库服务（repository service，知识库服务，类似Eclipse等IDE工具的项目或工程的概念），在这个知识库下建立我们的文件夹，在这个文件夹下建立映射（Mapping）、工作流（Workflow）等，详见“Informatica PowerCenter客户端的安装“及以后的内容。 如果数据中心没有现成的ETL服务器就需要我们自己搭建服务器，服务器的操作系统尽量选择Windows（易于配置ODBC数据源）。 Informatica PowerCenter服务器端的安装。 运行解压后文件夹的pc811_windows32\install.exe。（安装需要java运行时）。 选择server 等待安装准备 欢迎界面，点击Next继续 这一步要选择授权文件，选择解压开的pc811_windows32\key\EP-HUNAN_Linux32.key,点击Next继续。 这里显示安装的要求，点击Next继续。 这一步的安装设置选择Custom，点击Next继续。 这一步选择要安装的组件，只需要选择安装PowerCenter Services。点击Next继续。 这一步选择安装类型，选择全新安装。点击Next继续。 选择安装的目录，点击Next继续。 安装总结，点击Install进行安装。 域（Domain）设置，选择创建新的域，点击Next继续。 PowerCenter的域（domain）信息存储在关系型数据库中，这里使用Oracle数据库，需要先在数据库中创建用户并赋予权限，北京使用的用户是MW_ETL_DOMAIN，需要赋予connect、resource、create any view、unlimited tablespace的权限。在这个页面中填写存储域信息的数据库与用户的相关信息。点击Test Connection测试连接。 显示连接通过后，点击OK。 点击Next继续。 这一步设置域的信息，域的密码是登陆web版管理控制台的密码，这里设置为admin.在这里不勾选创建知识库服务，后面在管理控制台中创建。点击Next继续。 这一步选择安装Informatica PowerCenter服务的操作系统用户，这里我选择使用当前用户。点击Next继续。 这一步显示安装总结，点击Done完成安装。 安装完以后在所有程序中可以发现PowerCenter的相关文件夹，Launch Admin Console是打开管理控制台的快捷方式，Start Informatica Services是启动PowerCenter服务的快捷方式，Stop