“云计算（第三版）”配套之37：第11章中国云计算技术（二）.pptxVIP

11.3 国产大数据库技术 11.3.1 阿里巴巴OceanBase 11.3.2 云创存储数据立方（DataCube） 3 到目前为止， OceanBase支持了收藏夹、直通车报表、天猫评价等OLTP和OLAP在线业务，线上数据量已经超过千亿条记录。 11.3 国产大数据库技术 阿里巴巴OceanBase OceanBase主要是为了解决淘宝网的大规模数据而产生的，是一个支持海量数据的高性能分布式数据库系统，达到管理数千亿条记录的规模，支持在数百TB数据上跨行跨表事务并支持SQL操作。 4 PootServer/ UpdataServer (主) PootServer/ UpdataServer (备) ChunkServer/ MergeServer ChunkServer/ MergeServer ChunkServer/ MergeServer ChunkServer/ MergeServer 11.3 国产大数据库技术 阿里巴巴OceanBase 系统架构 5 11.3 国产大数据库技术 阿里巴巴OceanBase 客户端 基于MySQL数据库开发的应用程序、工具能够直接迁移到OceanBase RootServer 配置服务器，一般是单台服务器。记录commit log并通常采用双机热备 UpdateServer 存储OceanBase系统的增量更新数据。 ChunkServer 保存基准数据的服务器，通常是多台，同一份基准数据通常保存3份并存储在不同的ChunkServer上 MergeServer 接收并解析用户的SQL请求经过词法分析、语法分析、查询优化等一系列操作后转发给相应的ChunkServer或者UpdateServer 6 11.3 国产大数据库技术 阿里巴巴OceanBase 数据查询流程 7 11.3 国产大数据库技术 阿里巴巴OceanBase 系统特点及优势 主体数据在一段时间内保持相对稳定 以内存保存增删改记录极大地提高了系统写事务的性能 扩充UpdateServer内存即增加了内存中容纳的修改量 动态数据服务器UpdateServer写commit log并采取双机（甚至多机）热备 OceanBase按主键的范围查询对应着连续的磁盘读 8 11.3 国产大数据库技术 阿里巴巴OceanBase UpdateServer ChunkServer MergeServer RootServer 类似于DBMS中的DB角色，提供跨行跨表事务和很短的查询修改的响应时间以及良好的一致性 具有数据多副本、中等规模数据粒度、自动负载平衡、宕机恢复、机器plug and play等特点，系统容量及性能随时扩展 结合ChunkServer和UpdateServer，获得必威体育精装版数据，实现数据一致性 类似于云计算中的主控机（如GFS master），进行机器故障检测、负载平衡计算、负载迁移调度等 9 11.3 国产大数据库技术 阿里巴巴OceanBase 可靠性与可用性 OceanBase在ChunkServer中保存了基准数据的多个副本。 OceanBase在UpdateServer中保存了增量数据的多个副本。 ChunkServer的多个副本可以同时提供服务。 UpdateServer主备之间为热备，同一时刻只有一台机器为主UpdateServer提供写服务。 OceanBase存储多个副本并没有带来太多的成本。 在OceanBase系统中，用户的读/写请求，即读/写事务，都发给MergeServer。 10 11.3 国产大数据库技术 阿里巴巴OceanBase 只读事务执行流程如下： 1 2 3 4 MergeServer解析SQL语句，词法分析、语法分析、预处理，最后生成逻辑执行计划和物理执行计划。 MergeServer将请求拆分后同时发给多台ChunkServer并发执行，每台ChunkServer将读取的部分结果返回MergeServer 如果SQL请求涉及多张表格，MergeServer还需要执行联表、嵌套查询等操作。 MergeServer将最终结果返回给客户端。 11.3 国产大数据库技术 11.3.1 阿里巴巴OceanBase 11.3.2 云创存储数据立方（DataCube） 12 数据立方（DataCube）的结构分为用户接口、索引、SQL解析器、作业生成器、元数据管理、并行计算架构、分布式文件系统等部分，如图所示。 11.3 国产大数据库技术 云创存储数据立方（DataCube） 13 11.3 国产大数据库技术 云创存储数据立方（DataCube） 14 11.3 国产大数据库技术 云创存储数据立方（DataCube） 实时性 计算的数据本地性