主动数据仓库的挑战和解决方案-厦门大学数据库试验室.pdfVIP

主动数据仓库的挑战和解决方案 北京大学计算机系数据库实验室 林子雨 北京大学计算机系数据库实验室 2006年7月6 日 报告内容 挑战#1 ：支持实时ETL 挑战#2 ：实时事实表的建模 挑战#3 ：OLAP查询和变化的数据 挑战#4 ：可扩展性和查询竞争 挑战#5 ：实时报警 北京大学计算机系数据库实验室 2006年7月6 日 挑战#1 ：支持实时ETL 建设任何数据仓库时，最难的部分是数据的抽取、转换、清洗和加载 几乎所有的ETL工具和系统，不管是现成的产品还是定制编码的，都是以批处理 方式工作 ETL过程通常需要数据仓库暂时当机，停止对外服务，这时用户就无法访问数据 仓库 当以实时的方式连续加载数据时，就不可能允许存在系统的当机时间 没有当机的情况下对数据仓库进行连续更新，通常与传统的ETL工具和系统的设 计理念是相互冲突的 北京大学计算机系数据库实验室 2006年7月6 日 挑战#1 ：支持实时ETL 解决方案 1a: 准实时ETL 实时ETL问题的最简易的解决方案就是根本不考虑采用真正实时的ETL 并不是所有的问题都需要实时的答案，况且，因实时而引起的开销可能超出由实 时而带来的收益 对于这些应用，只要简单地提高现有的数据加载的频率即可，这种方法可以使数 据仓库用户得到比过去更加新颖的数据，同时却不用对现有的数据加载工具、数 据模型和报表应用做太大的修改 当不需要严格的实时时，准实时是一个比较可行的解决方案 北京大学计算机系数据库实验室 2006年7月6 日 挑战#1 ：支持实时ETL 解决方案1b：直接流水注入式 （direct trickle feed ） 把从源系统产生的新数据象水流一样直接注入到数据仓库 可以直接在数据库仓库事实表中插入或更新数据 也可以把数据插入到实时分区当中的单独的事实表中（见解决方案2b ） 可扩展性不好 ，复杂查询和连续插入及更新混在一起进行会严重影响数据库的 性能 北京大学计算机系数据库实验室 2006年7月6 日 挑战#1 ：支持实时ETL 解决方案 1c：流水和跳跃式 （trickle flip ） 不是把数据实时地加载到实际的数据仓库表中，而是把数据连续地注入到阶段存 储表 （staging table ）中 阶段存储表的结构和数据仓库表的结构相同,阶段存储表中的内容会和事实表周 期性地进行交换 采用 “以视图形式实现的集成的实时分区”这种方法，只需要修改视图的定义， 让它包含新的表而不是旧的表 建议在处理数据交换的时候，暂时停止OLAP服务，从而保证在进行数据更新的 时候，不会收到新的查询 当更新周期为每分钟一次到每小时一次之间时，可以采用这种 “流水和跳跃”方 法。通常情况下，周期为5到10分钟时，系统的性能最好 北京大学计算机系数据库实验室 2006年7月6 日 挑战#1 ：支持实时ETL 解决方案 1d：外部实时数据缓存 把实时数据存储到一个额外的独立于传统数据仓库的实时数据缓存 （RTDC ： real time data cache ）中，这样可以彻底避免对数据仓库性能的影响，同时不用 对现有的数据仓库做出修改 实时数据缓存可以是另一个专用的数据库服务器，或者也可以是一个大的数据库 系统的单独的实例，专门用来加载、处理和存储实时数据 把所有那些需要实时数据的查询定向到实时数据缓存 ，或者把某个查询所需要 的实时数据临时地无缝隙地整合到传统的数据仓库中 采用实时数据缓存，就不会给现有的数据仓库带来可扩展性和性能问题 需要安装和维护一个额外的单独的数据库 北京大学