数据挖掘课件数据挖掘2章数据仓库和数据挖掘的OLAP技术幻灯片.pptVIP

概念分层 全序相关 偏序相关(具体见3,4章) Country year City quarter month week Street day 多维数据模型的OLAP操作 上卷操作,通过维规约,在数据立方体上进行聚集. 下钻操作,是上卷操作的逆操作,由不太详细的数据到更详细的数据. 切片和切块,切片在给定的数据立方体的一个维上进行选择,切块则是在两个或两个以上的维进行选择. 转轴操作,转动数据的视觉,是目视操作. 如图2-10所示 3.3 数据仓库的系统结构 自顶向下视图,使我们可以选择数据仓库所需的相关信息. 数据源视图,揭示被操作数据库系统捕获存储和管理的信息. 数据仓库视图,包括事实表和维表. 商务查询视图,从最终用户的角度透视数据仓库中的数据. 数据仓库设计过程 选取待建模的商务处理 选取商务处理的粒度,例如单个事务,一天的快照等 选取用于每个事实表记录的维. 选取将安放在事实表中的度量如图3-4中的dollars_sold和units_sold 三层数据仓库结构 底层数据仓库服务器,使用称作网间连接程序的应用程序,由操作数据库和外部数据源提取数据. 中间层是OLAP服务器,实现方法有 关系OLAP模型,在多维数据上的操作映射为标准的关系操作 多维OLAP模型,直接实现多维数据的操作 顶层是客户,它包括查询和报告工具,分析工具和数据挖掘工具(例如趋势分析,预测等) 数据仓库的类型 企业仓库:企业仓库收集了关于主题的所有信息,跨越整个组织,它提供企业范围内的数据集成. 数据集市:包含企业范围数据的一个子集,对于特定的用户是有用的,其范围限于选定的主题. 虚拟仓库:是操作数据库上的视图集合.为了有效地处理查询,只有一些可能的汇总视图被物化,虚拟仓库易于建立,但需要操作数据库服务器具有剩余能力. OLAP服务器类型 关系OLAP(ROLAP)模型,使用关系或扩充关系DBMS存放并管理数据仓库 多维OLAP(MOLAP)服务器,这些服务器通过基于数组的多维存储,支持数组的多维视图 混合OLAP(HOLAP)服务器,结合ROLAP和MOLAP技术,得宜于ROLAP的可伸缩性,和MOLAP的快速计算. 特殊的SQL服务器,为了满足在关系数据库中日益增长的OLAP需要,实现了特殊的SQL服务器,提供高级查询语言和查询处理,在星型和雪花模式上支持SQL查询. 数据立方体的有效计算 计算量:对一个n维数据立方体,第i维的层次是Li,则可能产生的立方体总数是T=(L1+1)*…*(Ln+1)如果10维每维4个层次产生的方体数是5的10次方=9800000. 预先计算并物化所有可能产生的方体是不现实的,较合理的是部分物化 3.4 数据仓库实现 方体的选择计算 不物化:导致运行时计算昂贵的多维聚集,速度极慢. 全物化:需要海量存储空间,存放所有预先计算的方体. 部分物化:在存储空间和响应时间二者之间提供了很好的折衷. 多路数组聚集 将数组分成块,块的大小能够放入立方体计算时可用的内存. 通过访问立方体单元进行聚集,使得每个单元必须重新访问的次数最小化. 索引OLAP数据 位图索引:如图3-17所示,与散列和树索引相比,位图索引将比较,连接和聚集都变成了位算术运算,大大减少了运行时间. 连接索引:源于关系数据库的查询处理. 位图连接索引:将连接索引和位图索引集成. OLAP查询的有效处理 确定那些操作应当在可利用的方体上执行,这涉及将查询中的选择投影上卷下钻操作转换成对应的SQL或OLAP操作. 确定相关操作应当使用哪些物化的方体,这涉及到找出可能用于查询的所有物化方体. 具体步骤 考察的方体必须与查询具有相同的维集合,或是它的超集. 选择代价最小的方体. 元数据存储 元数据是定义数据仓库对象的数据.元数据 的存储包括 数据仓库结构的描述 对元数据的操作 汇总用的算法 由操作环境到数据仓库的映射 关于系统性能的数据 商务元数据 数据仓库后端工具 数据提取:从多个异种的外部数据源收集数据. 数据清理:检测错误,可能时修改错误. 数据变换:将数据转换成数据仓库格式. 装入:排序,综合,合并,计算视图,检查整体性,并建立索引和划分. 刷新:传播由数据源到数据仓库的更新. 数据仓库的维护 系统维护：是在系统已经交付使用之后为了改正错误和为了满足新的需要而修改系统的过程。 数据