ETL工具比较.xls

Sheet3 Sheet2 ETL工具比较 ETL厂商 Reiking informatic OnceDI beeload windows/unix/linux windows windows/linux 1分16秒 17秒 单表hisdeliver抽取,记录数124810，耗时比较 15秒 3分42秒 2分7秒 单表hisdeliver抽取,记录数2859999，耗时比较 2分58秒 IBM information server（datastage) 未测试 支持 不支持 流程中是否支持并行加载 并行加载性能 5分钟 7分钟 11分钟 未加载 client 730279行 clientinfo 739278行 stockholder 1083789 1分14秒 2分18秒 2分59秒 48秒 2分02秒 1分50秒 3分01秒 20秒 hisdeliver 124810行 无法对并行流程进行更新的监控，只有整体运行完成时间,7分12秒 14分33秒 14分07秒 14分50秒 4分31秒 不支持,只能手工同时发起多个流程来实现并行加载 数据抽取方式 直接导入 支持生成文件（落地)再导入;直接导入;消息协议 只支持落地方式 22分12秒 数据访问模式支持 支持运行平台 ETL管理 权限管理 运行监控 较弱 较强 ETL日志与报告 详细,但是出错信息需要查bad数据文件 很详细,能够看到所有的操作 不是很详细 比较详细 部署 强，采用SOA架构,可以任意发布服务 可以任意发布 可以任意发布，按机器进行收费 基本架构 性能 实时增量ETL支持 CDC,实现秒级别的增量 CDC,实现秒级别的增量，另外付费购买 递增字段实现，触发器模式,支持Oracle CDC 触发器模式/递增字段实现 绝大部分支持 异常处理 支持邮件通知 ETL工作流 流程触发 支持顺序、并行工作流、支持时间、事件触发 支持顺序、并行工作流、支持时间、事件、文件到达触发 支持顺序工作流、支持时间触发 支持顺序、并行工作流、支持时间。在工作流支持循环 30分钟以上 6分12秒 支持顺序、并行工作流、支持时间、文件到达触发 定时、事件 定时、事件触发 定时(支持到分钟级别)、事件触发 ODI(oracle data integrate 触发器模式/递增字段实现/stream(cdc) 19S 3分49S 支持（流程中串行异步模式) 2分13秒 1分29秒 3分23秒 2分44秒 支持顺序、并行工作流、支持时间 只能定时(支持到天级别)，比较弱 有专门的WEB工具来展示 可以任意发布，按CPU进行收费 直接导入也可以使用dblink(oracle-oracle),透明网关(sql-oracle)) 流程调度 可以按日定时调度；可以支持到秒级别的轮询调度(实现实时采集)；无法支持事件触发(例如清算完成)调度,必须编写调度程序，通过API调用流程 可以按日定时调度；可以支持到秒级别的轮询调度(实现实时采集)；支持事件触发(例如清算完成)调度,必须编写调度程序，通过API调用流程 可以按日定时调度；无法支持到秒级别的轮询调度(实现实时采集)；无法支持事件触发(例如清算完成)调度,必须编写调度程序，通过API调用流程;支持变量模式,无法支持变量从某个表读取然后替换相应的变量，必须通过外部shell调用替换 可以按日定时调度；可以支持到秒级别的轮询调度(实现实时采集)；无法支持事件触发(例如清算完成)调度,必须编写调度程序，通过API调用流程;支持变量模式,支持变量从某个表读取然后替换相应的变量，必须通过外部shell调用替换 可以按日定时调度；可以支持到秒级别的轮询调度(实现实时采集)；支持事件触发(例如清算完成)调度,必须编写调度程序，通过API调用流程;支持变量模式,支持变量从某个表读取然后替换相应的变量，必须通过外部shell调用替换 采集sqlserver数据;采集表zygd(记录数:597872) 41秒 可以按日定时调度；可以支持到秒级别的轮询调度(实现实时采集)；无法支持事件触发(例如清算完成)调度,必须编写调度程序，通过API调用流程；支持变量模式,支持变量从某个表读取然后替换相应的变量，必须通过外部shell调用替换 16秒 测试报错 3分17秒 19S 其他印象(可操作性，易用性,界面友好性) 直接导入；导入方式,数据导入支持批量加载(sql loader方式)、insert模式、行删除模式 其中insert模式是插入到临时表，然后更新,需要手工写update语句，配置比较复杂, 行删除模式这种方式不考虑，性能肯定会非常差。 批量加载模式，是对方工程师推荐的测试方案，其性能应该是最快的.以下测试是基于批量加载模式 直接导入;数据导入目的库有两种加载方式