分布式数据库发展趋势.pptVIP

第十四章 分布式数据库发展趋势 概述 DDBS环境 网络中每个站点是即运行应用程序又运行DDBMS的通用计算机 WAN与LAN RDBMS 新需求 高性能工作站(专用工作站) 并行计算机 CAD/CAM, OIS, AI 数据库服务器(1) 70年代的数据库机, 现代的数据服务器 数据管理功能从主机的CPU任务中剥离 数据服务器的优势 功能专一 专用OS, DBMS与OS紧耦合, 提高DBMS的总体性能 适于现实世界的分布环境 充分利用先进的硬件体系结构 缺点 额外的通信开销 因此要求服务器提供较高层次的接口, 关系模型操作是面向集合的操作, 所以成为服务器模型的首选 数据库服务器(2) 集中式服务器结构 明确分工, 减少工作站与服务器之间的通信 工作站对语言预处理(完整性检查, 安全控制) 工作站能访问数据目录 服务器管理和更新目录, 工作站只读目录 优化DBMS和OS, 或者使用多处理机解决服务器瓶颈问题 分布式服务器结构 并行数据服务器(1) 冯.诺依曼型计算机结构的局限 应用中存在的内在的可并行处理特性 关系操作本身的可并行性, JOIN中的多个子查询, 单个查询中的多步操作 数据库管理性能受到I/O瓶颈的影响 内存速度比硬盘速度快1000倍 增加带宽提高磁盘存取的并行性 使用并行可存取的多个小磁盘 并行数据服务器(2) 多处理机结构 通过高速通信介质连接多个可独立处理的单元 通过分配查询, 操作和子操作到不同的处理单元, 以并行执行方式完成互连查询, 内部查询, 及各种内部操作 类型 完全共享资源结构 完全不共享资源结构 并行数据服务器(3) 并行数据服务器数据定位 类似于分布式数据库中的数据片段定位 分簇(Declustering) 数据的水平分片 提高响应速度和内存查询并行度 聚簇(Clustering) 聚集关系的片段 综合查询或减少系统总体运行代价 程序应在数据存储的站点上运行 DDBS中DBA根据对片段的使用情况检测, 进行调整, 包括移动片段和重组 并行数据服务器(4) 并行数据服务与DDBS的不同 应用目标不同 并行中用户不专门使用某个站点, 所以不要求最大化本地性处理 实现方式不同 站点间高速网互连, 传输代价小, 可以调节站点间工作负载 各站点地位不同 不存在全局应用和局部应用 各站点完全不独立, 处理时只能发挥协同作用, 无局部应用 并行数据服务器(5) 数据定位方法 全分簇 片段分布到系统中所有有磁盘的站点 散列算法分片 查询时, 与选择属性精确匹配的子查询得以在一个站点上处理, 所有其它子查询在其他站点处理, 适于大范围多用户工作负载 复杂查询(多个连接)时, 聚簇方法较好 可变分簇 依据“分簇度”对关系分片, 分簇度是关系数据分片的站点数量, 是关系大小和存取频率的函数 并行数据服务器(6) 关联查询 传统关联存取是由查询处理器在编译时利用数据目录完成 并行系统中, 采用“全局索引”复制到每一个站点 全局索引 主聚簇 关于关系名 次聚簇 关于关系中的某些属性 基于散列法或B树实现 并行数据服务器(7) 例: 工程数据库 E(ENO, ENAME, DEPT, TITLE) S(TITLE, SAL) J(JNO, JNAME, BUDGET) G(ENO, JNO, RESP, DUR) 全局索引(查询ENO=‘E5’) 第一级关于关系名索引映射到E关系的ENO属性索引 第二级索引进一步映射值E5到站点j 并行数据服务器(8) 本地索引(次簇索引) 类似于全局索引 第一级关于关系名 第二级关于属性索引(映射簇值E5到91磁盘块) 实验结果 短事务负载下, 分簇数量增加, 事务吞吐量增加 多连接复杂事务负载下, 太细分簇降低吞吐量 并行数据服务器(9) 并行操作处理 关系代数操作的并行化是通过建立必要的并行查询处理子模块实现 Select 与 Join 的并行算法 分簇数据分布 Select 同分片的分布DB 精确匹配谓词在单一站点执行 复杂谓词, 在关系分簇所在的所有站点上执行 范围查询, 只在存储相关数据的站点上执行 并行数据服务器(10) Join操作 高速网络环境的分布Join算法 并行嵌套循环(PNL)算法 并行关联(PAI)算法 并行散列连接(PHJ)算法 三个主要构造 send receive do-in-parallel For I from 1 to n do in parallel action A 并行数据服务器(11) 并行算法的代价 Cost(Alg) = Ccom(Alg) + Cpro(Alg)