dss数据仓库技术.ppt

6.4 数据仓库管理中的关键技术 翻译器 翻译器的数据翻译工作包括数据结构的翻译和数据类型的。例如，若信息源是一个关系数据库，而数据仓库使用面向对象模型时，一般来说，其翻译规则如下：关系对应于对象类，每个元组翻译成对象实例；关系的属性值翻译成对象的属性值，并根据元组的关键字生成对象关键字，必要时还需要对数据之间的语义联系进行重新构造。 监控器 数据仓库提供的是一种“离线”数据，数据仓库中的数据与其源场地的数据在一致性上存在时间差。在强调一致性的情况下，需要建立一种监控机制，通过检测数据 6.4 数据仓库管理中的关键技术 源发生的变化，监视数据仓库与数据源之间的数据误差，并报告给上层集成器。监控器的建立与数据源的类型有关，对于不同类型的数据源，应采用不同的监控方式，提高监控效率，减少监控费用。可以分以下三种： 全开型：数据源可以向外界揭示其内部发生的变化。 半开型:不提供通告接口，提供参考文件供外界检查，如日志文件。 全封闭型：系统对外部完全封闭，只有检测和比较全部文件的快照才能探知发生的变化。 6.4 数据仓库管理中的关键技术 集成器 集成器负责进行数据仓库初始化和目录管理，另外，就是接收监控器的变化，并将数据源的新变化反映到数据仓库中。 集成器作用 6.4 数据仓库管理中的关键技术 集成器的实现： 在数据仓库中由于源场地的自治性，上层不能对数据源进行控制，只是松散耦合，因而难以进行同步控制和一致性控制，需要采用与视图系统不同的算法。 数据仓库可以允许不与源数据保持严格一致，所以可以采取其他方法进行更新，如批处理方式。 采用“规则驱动方法”，自动修改数据仓库中的相应部分，但比常规视图维护要复杂。 对于不同的应用，需要不同的集成器。 6.4 数据仓库管理中的关键技术 优化 为了提高数据仓库的效率，需要采用一些优化措施，一节省存储空间、加快相应速度，减少维护费用。 过滤源场地上无关的修改操作 可自维护性 多视图优化 数据可视化 可视化趋势 更多的图表类型 交互可视化 庞杂结果的可视化 高级可视化技术 表格的操作 向下钻取 高级互动 打印报表 在线显示 基本交互 下钻 高级交互 可视查询 基本视图 演示图表 嵌入报表 科学图标类型 多连接图表 企业图表系统 简单数字序列 多维数据序列 实时数据提供 大量数据集 非结构化 文本数据 神经数据 从小数据集到大型、复杂的结构 从静态到动态的可视化 6.5 可视化数据仓库 6.5 可视化数据仓库 功能 描述性数据的存储 小型数据仓库的规模化扩展 开发系统环境 数据仓库规模化的体系结构 管理员 控制数据库 客户端管理员 6.5 可视化数据仓库 可视化数据仓库的管理 商业视图 监控数据转换过程 编辑版 定期执行 级联式商业视图 版本 一.星形模型 事实表：存放大量关于企业的事实数据； 维表：存放描述性数据，是围绕事实表建立的。 缺点： （1）当业务问题发生变化，原来的维不能满足要求时，增加新的维所带来的数据变化时非常复杂、耗时。 （2）数据冗余大，不适合大数据量的情况。 6.6 数据仓库的存储 二.雪花模型 对星型模型中一些维表扩展为小的事实表，形成一些局部的层次区域。 最大限度减少存贮量，较小的维表联合在一起改善查询功能。 三.星网模型 多个星型模型通过事实表的相同维连接成一个网络。 6.6 数据仓库的存储 美国NCR公司的总结： 一.报表 二.随机分析 三.预测 四.实时决策 五.事件触发的自动决策 6.7 数据仓库的决策支持 6.8 数据仓库的案例 税务系统数据仓库 复制，更新 6.8 数据仓库的案例 ETL 6.8 数据仓库的案例 ETL * * * * 决策支持系统——第六讲 数据仓库技术 决策支持系统——第六讲 数据仓库技术 第六讲数据仓库技术 6.1 数据仓库的基本知识 6.2 数据仓库的结构框架 6.3 数据仓库的体系结构 6.4 数据仓库的关键技术 6.5 可视化数据仓库 6.6 数据仓库的存储 6.7 数据仓库的决策支持 6.8 数据仓库的案例 6.1 数据仓库的基本知识 一.从数据库到数据仓库 事务处理环境不适宜决策应用的主要原因： 1.事务处理环境和分析处理的性能、特性不同 2.数据集成问题 3.数据动态集成问题 4.历史数据问题 5.数据的综合问题 6.不同的使用对象 一、数据仓库的概念 1.W.H.Inmon 是面向主题的、集成的、稳定的、随时间变化的数据集合，用于支持经营管理中的决策制定过程。 面向主题 集成 随时间变化 稳定 数据量很大 软硬件要求很高 6.1 数据仓库的基本知识 2.SAS软件研究所的观点 DB数据 DW数据 细节的 在存取时准