列式数据库的明天.pptVIP

* 从IQ的压缩能力和数据入库等性能上赢得了客户 IQ Main store DBSpaces are shared by all MPX servers Each server has its own set of files in IQ_SYSTEM_TEMP and IQ_SYSTEM_MSG DBSpaces * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * * – Company Confidential – * 列式数据库的明天 卢东明 tomlu@ 技术总监，Sybase软件（中国）有限公司 数据量扩展… 数据量每18个月都会翻番，越来越多的人需要访问越来越多的数据。 数据量 21世纪 无限企业 20世纪90年代~21世纪初因特网 20世纪80年代客户机/服务器 20世纪60年代主机 数据库技术发展 1990 2015 OLAP OLTP 当前数据库市场的细分格局 OLTP 交易业务 OLAP 分析系统 “万能的”行式数据库 内存数据库 更多事务处理 列式数据库 更大量数据的分析 做 你知道的 分析发现 你不知道的 列式数据库是革命性的 传统行式数据库 c5 c4 c3 c2 c1 … c9 c8 c7 c6 r1 r2 r3 r4 r5 列式数据库 c5 c4 c3 c2 c1 … c9 c8 c7 c6 r1 r2 r3 r4 r5 数据按列存储 – 每一列单独存放 数据即是索引 只访问查询涉及的列 – 大量降低系统IO 每一列由一个线程来处理 – 查询并发处理 数据类型一致，数据特征相似 – 方便压缩 数据按行存储 没有索引的查询占用大量I/O 建索引或聚合表需要花费大量时间和资源 面对查询的需求，数据库必须被大量膨胀才能满足性能要求 列式数据库 vs. 行式数据库 行式数据库 列式数据库 比率(倍） 5000万条纪录带索引加载 7111.33” 265” 26.8 1亿条纪录带索引加载 14463.8” 1161.44” 12.5 数据存储总占用空间 183.51(G) 27.5(G) 6.7 测试大表count、sum聚合操作,排序 30’57.24” 7’34” 4.1 测试利用索引过滤纪录后对大基数字段group by ,sum操作 3’32.54” 1’33.3” 2.3 测试大表count、sum聚合操作 10’50.37” 4’23.87” 2.5 测试利用索引过滤纪录后对小基数字段group by ,sum操作 13.65” 1.27” 13.8 子表操作 30’57.24” 7’34” 4.1 IDC Finds That a Third Generation of Database Technology Along with Vendors Are Shaking Up the Market?12 Feb 2010?FRAMINGHAM, Mass., February 12, 2010?–.For database administrators (DBAs) and those who select and manage database management system (DBMS) technology that is based on conventional row-oriented, disk-based systems that drive queries in a linear fashion, a new generation of DBMS technology is sending a simple, clear message - Everything you know is wrong. Recent?IDC?research shows that at the current rate of development and adoption, it is likely that within 5 years: