PentahoDI对接Transwarp验证说明-星环.PDFVIP

Pentaho DI 对接Transwarp 验证说明 Pentaho DI对接Transwarp验证说明 日期：XXXX-XX-XX 公司：星环信息科技（上海）有限公司 Pentaho DI 对接Transwarp 验证说明 目 录 一. 工具概述3 1.1. ETL 描述3 1.2. Pentaho 的DI 简介3 1.3. 对接使用版本和说明3 二. 功能概述4 2.1. DI 转化功能介绍4 2.2. DI 作业功能介绍5 三. 解决的问题7 四. 安装和配置过程7 4.1. 安装过程7 4.2. 配置过程7 五. 测试案例8 5.1. 测试说明8 5.2. 案例1：本地文件上传到HDFS 上8 5.3. 案例2 ：执行SQL 脚本，建外表和ORC 表 14 5.4. 案例3：执行测试SQL，将查询结果导出到HDFS 并传到本地 15 5.5. 案例4 ：完整流程测试 16 六. DI和Transwarp对接总结17 本文件属必威体育官网网址资料 Page 2 of 17 未经Transwarp 的书面许可，不得翻印或外传 Pentaho DI 对接Transwarp 验证说明 一.工具概述 1.1.ETL描述 ETL 即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。它是构建数 据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用 以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要 原因有：滥用缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。即便是一个设 计和规划良好的数据库系统，如果其中存在着大量的噪声数据，那么这个系统也是没有任何意义 的，因为 “垃圾进，垃圾出” （garbage in, garbage out），系统根本就不可能为决策分 析系统提供任何支持。为了清除噪声数据，必须在数据库系统中进行数据清洗。 1.2.Pentaho 的DI 简介 Pentaho 的Data Integration(后面简称DI)是国外的一款ETL 工具，纯java 编写，可以在Window 、 Linux 、Unix 上运行，绿色无需安装，数据抽取高效稳定。该工具的开源产品是Kettle，中文名 称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流 出。DI 和Kettle 在ETL 方面的内容基本相同，在本次对接中统一使用DI，它允许你管理来自 不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。DI 中有两种脚本文件，transformation 和job，transformation 完成针对数据的基础转换，job 则完成整个工作流的控制。 1.3.对接使用版本和说明 本次对接使用的是Pentaho7.1 版本对接Transwarp5.0 版本。使用TDCH 2g 进行测试验证。 本文件属必威体育官网网址资料