阿里巴巴——Oceanbase资料.pptVIP

阿里巴巴——Oceanbase Introduction 淘宝Oceanbase是从2010年5月开始研发的，其定位是解决淘宝内部在线业务的云存储问题。我们在设计系统时，总是考虑现在及今后一段时间的需求。互联网业务大致可以分为OLTP和OLAP两类，对在线存储的需求简单归纳如下。 OLTP：今后数据规模为千亿级，数据量数百TB，要求几十万QPS和几万TPS。 OLAP：支持千万级记录的数据集上进行实时计算。 功能：支持范围查询，支持跨行跨表事务。 其他：高可用性、自动故障处理、自动扩容等。 因为OLTP和OLAP业务对性能的要求，我们必须采用分布式方案。另外，淘宝的业务发展迅猛，传统的分库/分表方法带来的扩容及运维成本太高，必须构建异构的云存储系统。 OceanBase客户端 OceanBase——RootServer OceanBase——RootServer OceanBase——RootServer OceanBase——MergeServer 数据库功能 整体架构 只读事务 写事务 特色功能 整体架构 只读事务 只读事务（SELECT语句） ， 经过词法分析、 语法分析， 预处理后， 转化为逻辑查询计划和物理查询计划。 单表操作 单表相关的物理运算符： 1 . TableScan： 扫描某个表格 2. Filter： 针对每行数据， 判断是否满足过滤条件。 3. Projection： 对输入的每一行， 根据定义的输出表达式， 计算输出结果行。 4. GroupBy： 把输入数据按照指定列进行聚集， 对聚集后的每组数据可以执行count、 sum、 min、 max、 avg等聚集操作。 5. Sort： 对输入数据进行整体排序， 如果内存不够， 需要使用外排序 6. Limit： 返回行号在[offset, offset + count)范围内的行。 7. Distinct： 消除某些列相同的重复行。。 物理查询计划举例-单表查询 物理查询计划举例-多表查询 写事务 写事务，包括UPDATE、INSERT、DELETE、 REPLACE，由MergeServer解析后生成物理执行计划， 物理执行计划最终将发给UpdateServer执行。 写事务可能需要读取基线数据，用于判断更新或者插入的数据行是否存在，判断某个条件是否满足，等等，这些基线数据也会由MergeServer传给UpdateServer。 OceanBase的特色功能 1.大表左连接 2.数据过期与批量删除 大表左连接 需求来源：淘宝收藏夹业务 （1）收藏夹业务：包含收藏表collect_info以及商品表collect_item ◆ collect_info：存储用户的收藏信息，如收藏时间、标签等 ◆ collect_item：存储用户收藏的商品或者店铺的信息，包括价格、人气等 （2）收藏夹业务的数据量 ◆ collect_info的数据条目达到100亿条 ◆ collect_item的数据条目接近10亿条 ◆ 每个用户平均收藏了50 ~ 100个商品或者店铺 大表左连接 （3）传统做法 采用Join操作： 根据collect_info中存储的商品编号（item_id） ， 实时地从商品表读取商品的价格、人气等信息。 冗余：在collect_info表中冗余商品的价格、 人气等信息， 读取时就不需要读取collect_item表了。 （4）OceanBase的做法 在collect_info的基线数据中冗余collect_item信息，修改增量中将collect_info和collect_item两张表格分开存储。商品价格、 人气变化信息只需要记录在UpdateServer的修改增量中 大表左连接 读取操作步骤 数据过期与批量删除 一、数据过期 （1）优点：节省存储成本 很多业务只需要存储一段时间，比如三个月或者半年的数据，更早之前的数据可以被丢弃。 （2）实现 ◆ OceanBase线上每个表格都包含创建时间（gmt_create）和修改时间（gmt_modified）列 ◆使用者可以设置自动过期规则，比如只保留创建时间或修改时间不晚于某个时间点的数据行，读取操作会根据规则过滤这些失效的数据行，每日合并时这些数据行会被物理删除 二、批量删除 （1）需求来源：OLAP业务 OLAP(数据仓库)业务往往每天导入一批数据，由于业务逻辑复杂，上游系统很可能出错，导致某一天导入的数据出现问题，需要将这部分出错的数据删除掉。由于导入的数据量很大，一条一条删除其中的每行数据