kettle使用说明.docVIP

  1. 1、本文档共19页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
kettle使用说明

ETL工具——kettle使用说明 简介 ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),Jdk1.4以上 开始使用: Kettle可以在/网站下载。下载kettle压缩包,因kettle为绿色软件,解压缩到任意本地路径即可。 (本文着重介绍kettle3.2.0稳定版) Spoon 是一个图形用户界面,在不同平台上运行Spoon需要不同的脚本: Spoon.bat: 在windows 平台运行Spoon(或直接点击Kettle.exe)。 Spoon.sh: 在Linux、Apple OSX、Solaris 平台运行Spoon。 登陆一般选择没有资源库: Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。 kettle默认transformation文件保存后后缀名为ktr 新建数据库连接 (此链接也可在用到的节点处配置) 填写数据源配置内容 点击Test测试连接成功: 核心对象 切换到核心对象,菜单列出的是Transformation中可以调用的环节列表,可以通过鼠标拖动的方式对环节进行添加。并且可通过shift+鼠标拖动,实现环节之间的连接。 常用节点介绍(红色节点后面逐一演示) 类别 环节名称 功能说明 输入 文本文件输入 从本地文本文件输入数据 表输入 从数据库表中输入数据 获取系统信息 读取系统信息输入数据 输出 文本文件输出 将处理结果输出到文本文件 表输出 将处理结果输出到数据库表 插入/更新 根据处理结果对数据库表机型插入更新,如果数据库中不存在相关记录则插入,否则为更新。会根据查询条件中字段进行判断 更新 根据处理结果对数据库进行更新,若需要更新的数据在数据库表中无记录,则会报错停止 删除 根据处理结果对数据库记录进行删除,若需要删除的数据在数据库表中无记录,则会报错停止 查询 数据库查询 根据设定的查询条件,对目标表进行查询,返回需要的结果字段 流查询 将目标表读取到内存,通过查询条件对内存中数据集进行查询 调用DB存储过程 调用数据库存储过程 转换 字段选择 选择需要的字段,过滤掉不要的字段,也可做数据库字段对应 过滤记录 根据条件对记录进行分类 排序记录 将数据根据某以条件,进行排序 空操作 无操作 增加常量 增加需要的常量字段 脚本 Modified Java Script Value 扩展功能,编写JavaScript脚本,对数据进行相应处理 映射 映射(子转换) 数据映射 作业 Sat Variables 设置环境变量 Get Variables 获取环境变量 表输入 双击拖动到工作面板上的表输入结点,选择(或者新建)所需要的数据库连接,点击获取SQL查询语句或自行编辑SQL。 若需根据前一步获取数据进行查询,可用“?”号代替,变量顺序与前一节点相同 字段选择 界面如下: 选择和修改:指定需要流到输出流中的字段的精确顺序和名称 删除:指定从输出流中删除的字段(以后输出流将不会获取到此数据) 元数据:修改元数据字段的名称、类型、长度和精度 插入/更新 如下图,表示当原表的id=new_test.id时,比较createdate和account,若不同就进行更新,如果没有此id就插入该数据 运行Transformation: 一个简单的Transformation如下: 这里可以不用配置直接启动 执行结果中可以查到执行步骤以及输出日志 任务(Job) 新建一个Job kettle默认job文件保存后后缀名为kjb 核心对象 菜单列出的是Job中可以调用的环节列表,可以通过鼠标拖动的方式对环节进行添加。 每一个环节可以通过鼠标拖动来将环节添加到主窗口中。 并可通过shift+鼠标拖动,实现环节之间的连接。 常用节点介绍(红色节点后面逐一演示) 类别 环节名称 功能说明 START 开始 DUMMY 结束 Transformation 引用Transformation流程 Job 引用Job流程 Shell 调用Shell脚本 SQL 执行sql语句 FTP 通过FTP下载 Mail 发送邮件 Table exists 检查目标表是否存在,返回布尔值 File exists 检查文件是否存在,返回布尔值 Wait for 等待时间,设定一段时间,kettle流程处于等待状态 Javascript 执行JavaScript脚本 Create file 创建文件 Del

文档评论(0)

牛X文档 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档