ETL工具篇--DataStage.pptVIP

谢 谢! * * * * * * 以数据仓库为基础，建立业务模型，以OLAP和数据挖掘技术从中提炼出有用的信息。 */43 ETL工具篇－－DataStage 主要内容 什么是DataStage DataStage系统架构 客户端的4个开发工具 几个开发demo Container Job Sequence Job 参数 常用组件简介 两个目标 (1)对DataStage有初步的认识与了解 (2)了解源系统的卸数与ODS的加数过程 　 什么是DataStage (1)ETL 从数据源抽取数据，并在抽取过程中对源数据进行清洗与　　　　转化，最终加载到目标数据库或数据仓库中去，也就是数据整合的核心内容。 (2)DataStage 是一款为整个ETL过程提供图形化开发环境的数据集成产品。最初是Ascential的产品，后被IBM收购，称为IBM WebSphere DataStage。 (3)当前两个主流ETL工具： IBM DataStage Informatica Power Center 　 DataStage系统架构 C/S架构，通过 DataStage Client 连接到 Server 上进行开发 主要内容 什么是DataStage DataStage系统架构 客户端的4个开发工具 几个开发demo Container Job Sequence Job 参数 常用组件简介 客户端1--DataStage Administrator (1)创建项目 用 DataStage 进行 ETL 的开发之前，需要利用 Administrator 新建一个项目，然后再在这个项目里面进行 ETL Job 的开发。 (2)连接时间管理 (3)许可管理 客户端2--DataStage Designer DataStage Designer是ETL Job开发的核心环境 (1)ETL Job 的开发 (2)ETL Job 的编译 (3)ETL Job 的执行 (1)监测ETL Job的运行状态 　　记录ETL Job运行的详细的日志文件，以及一些统计数据，如ETL Job每秒所处理的数据量 (2)设置何时运行ETL Job 　　设置在每天、每周或者每月的某个时间运行ETL Job 客户端3--DataStage Director 客户端4--DataStage Manager 主要用来管理项目资源 (1)ETL Job的在不同项目中的导入导出、以及备份 (2)用于数据表结构、元数据的管理 主要内容 什么是DataStage DataStage系统架构 客户端的4个开发工具 几个开发demo Container Job Sequence Job 参数 常用组件简介 DEMO1--卸数 DEMO2--加数 DEMO3--ODS对代码的标准化 DEMO4--各机构数据的加载 主要内容 什么是DataStage DataStage系统架构 客户端的4个开发工具 几个开发demo Container Job Sequence Job 参数 常用组件简介 Container (1) ETL Job往往都很复杂，为了简化开发布局可以将 一些业务规则封装到一个容器内，称为Container Container分为： (1)Local Container：简化布局、封装业务 (2)Share Container：可以在多个Job内共用 Container (2) C4组件就是一个Share Container，它封装了对源数据的抽取与转化这样一个业务功能 Container (3) 主要内容 什么是DataStage DataStage系统架构 客户端的4个开发工具 几个开发demo Container Job Sequence Job 参数 常用组件简介 为了对ETL Job进行调度、依赖控制、或者日志、出错处理，Job Sequence(序列)采用图形的方式对Jobs进行控制，它同样由Stage与Link组成。 Job Activity Stage的分类 (1)Job Activity：用来指定已经开发定义好的Jobs (2)Routine Activity：用来执行Routines代码 (3)Execute Comand：执行Win、DOS、Unix命令 (4)Notification Stage：用来邮件发送 Job Sequence (1) Job Sequence (2) 主要内容 什么是DataStage DataStage系统架构 客户端的4个开发工具 几个开发demo Container Job Sequence Job 参数 常用组件简介 Job 参数 (1) 为使得JOB