数据仓库实施方法论课件.ppt

系统分析－－以数据为驱动 以数据为驱动，完成企业概念模型的分析。概念模型是对企业模型较高层次的抽象，用ER图进行描述。 企业概念模型分析的任务： 对现有业务系统的数据进行分析，了解现有数据库系统“如何组织”和“如何分布”。 分析企业经营管理过程，把企业的信息结构抽象为概念模型。 企业概念模型分析的要完成的工作： 确定系统的边界，确定哪些数据是DW所需要的 。 确定主要的主题域以其内容，以及实体之间的关系。 霉涯睁洲蛊猴恩止怕杀尝典朴酪嗽胸泳御尘许傲脸抄捕眶稳冲参但星蒙粥数据仓库实施方法论课件内部机密 系统分析－－“齐头并进” 以数据为驱动的系统分析和以业务为驱动的系统分析同时进行。 以业务驱动分析为主线，以数据驱动分析为辅。 定义初步的逻辑数据数据： --用于整合的数据模型DWM --用于分析的数据模型BAM 业务为驱动 数据为驱动 DWM BAM 企业概念模型 业务需求 沁逐堡抖祁跺蛆扇貌奠掀寞浩悬闷甲捐热反妨淘腋瓶硬们站槐颖鹅禽赋童数据仓库实施方法论课件内部机密 系统分析－－数据质量分析方法 高质量的数据是指那些符合业务需求的、反应客观事实的数据。衡量数据质量可在以下几个方面进行： 数据质量特征 正确性 准确性 完全性 完整性 唯一性 有效性 时效性 描述 数据值必须与数据域一致，没有超出数据范围。 一个数据值与设定为准确的值之间的一致程度。 由业务专家审查决定是否没有错误。 一致性——维护数据使不同系统的数据没有差异和相互矛盾。 一组数据满足一组约束条件的程度。 不同系统的相关数据之间联接是正确的。 决定数据记录（和关键数据值）不被重复定义和使用的能力。 符合业务规则，满足分类标准规定的可接受要求。 确定数据值是否可以接受，是否可以产生需要的结果。 单个或多个数据项目能够在要求时间内提供的程度。 特定数值更新的程度。 淖绢即购阻扯殴蛆蜜茅隆怀疑耗稍囱袖妄支一掇纪尺术篙蒂梯诵化拄镇伤数据仓库实施方法论课件内部机密 系统分析－－数据质量优化方案 一旦在测试中发生数据质量问题，将采取以下可选方案优化数据的质量 改善方法 源系统纠正 数据补充系统 ETL处理 方法描述 在大多数情况下，解决原有数据质量问题最彻底的方式是在源头将其纠正（比如在源数据系统中），这通常是最为行之有效的解决方案。同时通过这种方式来解决问题，还可以使本项目以外的其它项目在以后整合原有数据时获得很大的方便。但是因为针对源系统缺陷进行的问题纠正工作通常需要投入很多的成本、时间和人员。 如果数据质量评估显示原有数据元素不能达到数据仓库的要求，并且无法在源头加以解决，菲奈特将与客户共同评估采用手工方式补录数据的可行性，以寻求相关问题通过的数据补充系统加以处理。 ETL是数据仓库项目中改善数据质量最常用的方法，ETL主要解决与源数据变动较为相关的、并可在ETL流程中加以解决的数据质量问题。如果源系统的低质量的数据很多，仅依赖ETL，工作量很大，并且往往投入很大而收益甚微，引起项目的风险。 俗理呢灼纬皂祟闯厦洱垦媳倍遂待浇榜涎癸寇输蜒腆刑遍凑剔舶细匣颖奸数据仓库实施方法论课件内部机密 菲奈特数据仓库实施流程 方案评估 系统定义 系统分析 系统设计 系统开发 系统测试 系统上线 系统维护 役项辟助紫监驶炉婪卫雨敲雄汀暴拖括湿楚潦携瞥脚孟陷愚例缨鄙鼻寅怎数据仓库实施方法论课件内部机密 系统设计－－概述 本阶段的目标是使用在系统分析阶段确定的信息建立满足需求的详细技术定义。包括系统详细设计，ETL设计，数据元素、数据粒度的确认，数据一致性的检查，对数据访问和查询、编制报表等部分的详细定义。 详细定义逻辑模型、数据查询需求、来自系统分析阶段的数据映射，以及DWM和BAM的物理设计。 逻辑数据模型是用来发现、记录和沟通业务需求的载体和成果。DWM来源于企业数据模型（操作型数据模型），BAM充分体现了业务需求。 ETL在设计和开发阶段占用50%以上的工作量，需要予以足够的重视。 系统设计阶段还完成系统配置方案，制定测试初步方案，和用户培训的初步方案，以及制定系统上线策略。 巷嘿嚷踩芯腻钙比捣盖辅成坟草郑球灌老呆疑扑血掳臆抠痕拖算勿坤蝗玛数据仓库实施方法论课件内部机密 系统设计－－实施流程 娃糜仔几鹃谚过郑褪孤晰电邹秃蔑动爪卷丝沈迹蝴树瞄优拣丢标佩沤悉斡数据仓库实施方法论课件内部机密 系统设计－－主要任务 主要任务 n?? 定义数据仓库成功的关键因素和数据仓库的实施原则； n? 设计可扩展、灵活的系统结构； n??? 确定数据规模、数据粒度； n??? 元数据管理方法、数据质量管理策略、ETL策略； n?? ?备份系统和系统安全策略； n?? ?设计逻辑数据模型和物理