BI商务智能04 _ 什么是ETL.pptxVIP

BI（商务智能） — 什么是ETL授课教师：王子武课程目录什么是ETLETL常用工具142ETL如何实现3ETL的功能什么是ETLETL定位ETL作用ETL定义ETL过程的功能是：发现数据仓库需要的数据，将其从源系统中抽取出来，并进行一定的处理，然后装载到数据仓库中去。ETL过程不仅仅是数据的迁移(Migration)或净化(Cleansing)，也应该是企业数据管理策略中不可缺少的一部分。将原来业务系统的数据经过抽取、转换、加载到数据仓库所在的中心存储库的过程称为ETL (Extraction, Transformation and Loading)过程。ETL目标将数据“信息化”，为企业决策者的经营分析提供信息来源提高数据质量1432将数据归类处理，获得有效，有序的，数据集提供一种统一的、跨平台的存取数据方法ETL功能6.数据验证1. 数据清洁2. 数据集成7.构建缓冲层8.不同数据来源整合3. 数据转换4. 数据简化9.搭建数据集市提高数据质量搭建数据仓库5. 数据离散化10. 整合数据仓库ETL流程数据抽取预抽取后台技术结构抽取单文件系统早期DBMSs第三方应用软件企业报表系统ODS识别数据元数据定义获取源应用系统设计更新频率估算数据量选择数据源理解元数据字典业务规则获取谢 谢！BI（商务智能） — 什么是ETL授课教师：王子武数据抽取策略数据转换数据类型转换增加“上下文”数据——时间戳解码——地域编码替换成地域名称字段转换对数据按照不同分组进行汇总等统计计算聚合汇总净化保留字段具有特定值或特定范围的记录去除重复记录字段映射代码变换合并多源记录派生数据多源整合数据清洁清洁过程三层清洁脏数据应用层清洁实现起来困难转换层的数据清洁元素化标准化元素值表达验证一致性数据仓库内部清洁数据装载前清洁预处理清洁大数据预诊断，不冒然加载标准化处理标应用数据仓库数据字典对各字段进行标准化处理差错及错误诊断数据查重及日志诊断数据不一致删除“约束”使用特定代码， 标志或“哑元”多目标域——某域依赖其他域或不一致数据装载将转换及清洁后的数据装载到企业数据仓库中4.1.2.编制设计数据函数库，子程序库优化SQL语句提高效率检查装载顺序调整并保持约束关系3.ETL框架抽取转化清洁存储转化清洁装载ETL问题及解决客服网络堵塞增加带宽程序设置断网保护SQL优化GUI vs. ScriptSQL优化提高数据库查询性能增加索引提高工作效率，缩短ETL周期以中间数据库为界，实现抽取和装载并行ETL工具收费开源Datastage最专业的ETL工具，价格不菲，使用难度一般Kettle业界最有名的开源ETL工具。 Kettle的数据转换过程相对比较灵活，可以是手工编写的SQL语句、Java代码、正则表达式等。但Kettle在异构数据库的处理能力比同构数据库的处理能力要弱很多，特别是夸服务器之间运行缓慢。Informatic专业程度如Datastage旗鼓相当，价格比Datastage便宜。SSIS可视化的环境，图形界面，开发简单 。DatastageKETTLE德昂ETL谢 谢！由于资源的有限性，客户并不会谋求解决所有的业务问题，只有那些迫切和重要的业务问题才是推动客户投入资源寻求满足的业务需求，才会有商机出现。使得业务问题的解决更为迫切和更紧急的原因成为动机，挖掘业务需求背后的动机可以帮助销售推动业务问题转化为业务需求或者判断业务需求的真伪，也是后期提供解决方案的依据之一。