数据挖掘 ETL演示 数据仓库课件.pptVIP

;ETL（Extraction，Transformation，Loading）即数据的抽取、转换与装载。ETL工具可将业务系统中分布的、异构数据源中的数据抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库，成为联机分析处理、数据挖掘的基础，为辅助决策、分析、查询提供统一的数据依据。 ;; 将原始数据从业务系统中读取出来的过程。 确定如何抽取源数据并非易事，需要对业务深刻了解，因此需要慎重规划： 在数据抽取前要充分理解数据源和数据定义 规划需要的数据源和数据定义 制定可操作的数据源 制定增量抽取的方案 ; 转换主要是针对数据仓库建立的模型，通过一系列的转换来实现数据从业务模型到分析模型。 数据转换是真正将源数据变为目标数据的关键环节，包括以下内容： 数据格式转换 数据类型转换 数据汇总计算 数据拼接 ……; 清洗主要是针对系统的各个环节可能出现的数据二义性、重复、不完整、违反业务规则等问题，允许通过试抽取，将有问题的记录先剔除出来，然后根据实际情况调整相应的清洗操作。 主要的数据质量问题有以下几种： 缺失数据 错误数据 数据重复 数据冲突 …… ; 数据加载主要是将经过转换和清洗的数据加载到数据仓库中，这时的数据已经是基于分析模型组织起来的。 数据加载通常分为以下几种方式 初始加载。一次对整个数据仓库进行装载。 增量加载。保证数据仓库与源数据变化的同期性。(触发器、时间戳、日志表、全表删除插入、全表比对) 完全刷新。周期性地重写整个数据仓库，也可能只对一部分数据进行刷新。;姓;;在用友BQ中， ETL就是通过查询定义数据仓库目标表，利用智能查询的强大功能作数据抽取（Extraction）（从不同数据源取数、跨数据源取数）、生成计算字段（自定义计算项）、转换类型、和数据清洗（Transformation），并通过数据泵出加载到数据仓库（Load）。简单的数据清洗（排除非法数据），可在查询条件中定义，复杂的可通过查询的内置VB脚本去做。 ;通过查询对象，从不同数据源取数、跨数据源取数取出自己所需的字段。数据清洗在查询中实现，如生成计算字段（自定义计算项）、转换类型、和数据清洗。复杂的清洗可通过查询的内置VB脚本去实现。 ;睫衣颂科挫烧氖挎慷缘图帮拼垛钉蜒抚隅泥恶酝距催紧末戚槛激桑邢会龚数据挖掘 ETL演示 数据仓库课件数据挖掘 ETL演示 数据仓库课件;一个能生成高性能数据集成解决方案(包括数据仓库中数据的提取、转换和加载（ETL））的平台。 其集成的含义主要就是指把ETL集成在一起，通过一个统一的环境向用户提供了数据转换服务（DTS）所能提供的所有功能，并且大大减少了用户花在编写程序和脚本上的精力和时间。 可视化环境 使管理功能和数据加载自动化 ;DEMO：将TXT中历史货币数据，写入数据仓库的FactCurrencyRate 事实数据表;;步骤;;字段映射;SSIS中的实现过程;;