BI项目实施交流.pptVIP

交流内容 BI包含的组件 BI项目实施几个阶段 数据仓库建设注意问题 报表、分析模型开发注意问题 1、BI包含的组件 数据仓库（ETL、仓库的四个区） 报表（日常营业报表、上报智能报告等） OLAP（ROLAP、MOLAP） OLAM（OLAP的深一层） DM FORECAST 2、BI实施的几个阶段 2.1、BI实施的几个阶段—需求阶段 需求调研（资深业务分析员+数据仓库技术人员，整体把握需求并转换需求，给数据仓库合理的生长空间） 制作需求模版（报表？分析？预测？） 确定核心指标、维度（此处要考虑到业务系统数据结构，能不能得到、怎么得到此指标、维度。指标在数据仓库中的数据粒度，刷新频率；关键性维度必须书面澄清，如组织结构维度、业务结构维度、人员结构维度等） 2.1、BI实施的几个阶段—需求阶段 确定分析模型、分析方法，即功能需求（分析模型要考虑指标、维度的粒度一致性，分析方法的可行性） 数据仓库建设需求（软硬件、容量、负载、逻辑结构） 需求测试（关键环节，但通常被遗忘） 输出物：需求分析说明书、各模块分析说明书、核心指标维度书明书、数据仓库建设方案 2.2、BI实施的几个阶段—设计阶段 系统总体结构概要设计 数据仓库数据模型设计 ETL设计 [报表设计] 分析模型设计 分析方法设计 应用程序设计（包括预测模型、挖掘模型） 系统总体框架设计 2.2.1、设计阶段—仓库设计 2.2.1、设计阶段—仓库设计 重要性：整个BI建设的核心位置 目的：提供报表、分析、挖掘、预测、门户所需数据等 驱动：需求驱动、业务驱动、价值驱动 结构设计：对数据区设计，原则是低成本、高效、全面、扩展，同时考虑ETL过程等 维度设计：一致的维度总线结构，代理代码，业务系统维度快照、维度自动生成及检测，特殊维度处理 2.2.1、设计阶段—仓库设计 事实表设计：按照需求、结合业务数据结构；尽可能采用数值型；根据指标粒度设计命名,事实建议是可加型 元数据设计：针对维度变化的监控，代理代码管理 测试：对数据测试同时及早发现需求问题 输出物：数据仓库总体设计、命名规范 2.2.2、设计阶段—ETL设计 重要性：没有ETL就没有DW，就没有BI 目的：ETL，组织数据 驱动：业务数据结构、数据仓库结构、需求驱动 结构设计：依据DW数据区、数据分析模块、分析频率设计ETL程序结构；同时设计脏数据处理、不对称数据检测、程序错误处理等 制定规则：ETL程序书写规范，性能规范，通用程序使用规范，错误处理规范、程序修改规范、程序模版等 2.2.2、设计阶段—ETL设计 测试：要求比较高！正确、准确、高效。同时发现DW设计问题、需求问题、粒度不一致问题 输出物： ETL程序设计说明书、ETL程序规范说明书 2.2.3、设计阶段—报表设计 报表库表设计（可以考虑到数据仓库设计中） 报表数据抽取（可考虑到ETL过程中） 报表模版设计 2.2.4、设计阶段—分析模型设计 重要性：BI项目顶端，直接面对客户 目的：通过对维度、事实指标组合，借用一些统计学、经济学方法对数据组织，得到决策价值数据 驱动：业务需求驱动、价值驱动 输出物：系统功能设计 2.2.5、设计阶段—分析方法设计 分析方法一般结合在分析模型中 主要的分析方法： 排序分析法 结构分析法（比重） 对比分析法（增减） 变化分析法（增长率、贡献率） 时间序列分析法（曲线图） 因素变动影响分析法 组合指标分析法 相关分析法 平均和变异分析法 2.2.6、设计阶段—应用程序设计 目的：增强程序健壮性、可扩展性、可移植性、提高开发效率 结构设计：信息目录组织（按照表组织？按照分析组 织？）； 通用维度组织，度量组织 CUBE组织（把分析模型变成现实） 层系组织，维度模版组织，文件管理 制定规则：命名规则、程序书写规则 测试：此环节测试可放在开发中发现修改设计 输出物：应用程序设计说明书、应用程序开发规范说明书 预测模型、数据挖掘模型例外 2.2.7、设计阶段—应用程序设计 以下部分设计可做一个话题讨论 预测模型设计 比如：指标确定、数据准备、因素影响、模型定制、算法设计、预测功能（预测粒度、参数灵活定制、周期、滚动、回写） 数据挖掘模型设计 比如：指标确定、样本准备、数据检验、算法设计、算法审计等等 2.3、BI实施的几个阶段—开发阶段 数据仓库开发 根据数据仓库设计生成数据库结构 输出物：元数据、数据库文件 ETL程序开发 开发：自主写程序？借用ETL工具？