dm针对大数据量环境下分析型应用的支持方案.docxVIP

DTCC2011 DM针对大数据量环境下分析型 应用的支持方案 大纲 ·一个实际案例 ·挑战和解决方案 ·下一步工作规划  DTCC2011 DTCC2011 一个实际案例 案例简介  DTCC2011 · 海量数据 · 基于已有硬件投资 – 单服务器节点 – 操作库和分析库合并 · 以查询分析为主，兼顾少量数据维护 硬件与拓扑 千兆交换机  DTCC2011 应用服务 器 数据汇总 文本 数据 源 文本 Excel 数据  数据清洗与入 库  数据库 服务器 P550 Cpu x 4 Mem 32GB P550 Cpu x 4 Mem 32GB 源 源  16 X 1TB SAS RAID 5文本数据源数据 文本 数据 源 数据 案例简介-数据  DTCC2011 · 以常规数据为主，主要为数值、字符串、 时间类型 · 日增长数据量为约56G，3亿条元组 · 当前数据量3TB · 最大单表为计费表，目前约150亿条记录 · 数据保存20年后归档为历史数据 · 在线数据规模将超过400TB 典型业务流程  DTCC2011 – 源数据清洗入库 – 分析统计型查询 · 第一步过滤的筛选条件不确定 · 试错式的查询分析过程，成功后固化，一般包含20多个步骤 · 大规模的连接查询、子查询、联合查询、数据分组与排序、临 时结果集与临时表等 · 复杂SQL不多，但IO非常大 – 日常数据维护 · 手工修改记录内容 · 批量删除 · 定期维护 案例需求  DTCC2011 · 关键在查询性能 – 第一个过滤步骤 · 筛选字段由用户随机定义，因此无法使用索引 · 一般会得到千万级别的结果集 – 大量的多表连接查询 · 数据装载性能 · 初始入库48亿条，近1T：限48小时，相当于3万条/s · 后续每3天入库一次，9亿条，168G，限10小时内完成 DTCC2011 挑战-核心是性能 原有产品难以支持分析型应用DTCC2011 · · · · · · ·  只支持行式存储 查询优化器比较简陋 虚拟机实现不尽合理 物理存储设计有待优化 日志系统过于复杂 不能充分利用多机资源提升性能 数据分片技术不完善 于2009年开始新一代产品DM7的研制 DTCC2011 实验室原型 技术积累阶段 实现各类标准  持续的技术积累 5.6引入物理操作符,虚拟机 6.0引入高级特性和oracle 兼容特性  5  DM7 2011 稳定性及功能 与开源系 统有差距  3  DM5.6 4  DM6 2009  对DM4-DM6的技 术总结 融合列存储与行 存储 基于向量数据的 1 DM1-DM3 2  DM4 2004 2007 执行内核 原生的MVCC OLAP应用的支 持 1988- 2003DM系统研制历程 DM系统研制历程 对于性能的理解  DTCC2011 应用系统的 设计 表达式计算  优化器 综合性能 数据/控制权 传递  I/O效率 并发/并行 数据控制权传递-批量技术 DTCC2011 – 向量数据处理 – 在数据泵一次传送一批数据 – 减少控制转移的CPU损耗； – 有利于批量的表达式计算 传统的数据传递 PROJECT FILTER  一次只传递一条记录 每个操作符一次只处理一 行记录 1  1  1  …  控制权需要反复传递 SCANDTCC2011 DTCC2011 向量式的数据传递 PROJECT 减少控制权限的反复传递 提升CPU的有效利用率 FILTER 便于表达式批量计算 SCAN12…N12…N………… 1 2 … N 1 2 … N … … … … DTCC2011 DTCC2011 批量技术-数据入库  DTCC2011 – 将系统的初始数据入库 – 原有BCP接口达到5000条/s，仍无法满足要求 – 改进： · 在服务器端实现批量，减少执行流程中的控制跳转 · 效率提升８倍 批量技术-全表更新  DTCC2011 普通 批量  普通批量 绑定 针对大表更 新的特定的 批量绑定消 息  计划生成 生成特定计 划，减少执 行流程  单趟扫描一个ID进行 更新，执行20万次 ID进行排序，单趟扫描20 万个ID并进行更新 性能提升100倍以上，控制在2秒以内 批量技术-LIKE谓词 · select count(*) from orders where o_comment not like %special%requests%‘  DTCC2011 DBMS ‘O’ 11g:  3.3 DBMS ‘S’ 2005: 10 DM7:  0.4 orders : 1,500,000记录 cpu 2.2G,多次执行 DTCC2011 · 一个