Vertica产品介绍.pdfVIP

Vertica 产品介绍 中国惠普有限公司 二〇一三年十二月 中国惠普有限公司 1 目 录 VERTICA 产品介绍1 一. 简介3 1.1大数据给传统数据分析带来的挑战 3 1.2面向大数据实时分析的全新架构的VERTICA 4 二. 主要优势6 三. 产品简介7 3.1 列式存储和计算 8 3.2 主动压缩 9 3.3 无共享大规模并行计算 10 3.4 高性能和高并发 11 3.5 内置高可用性 12 3.6 混合存储和实时分析 13 3.7 分级存储 14 3.8 混合负载 14 3.9 多租户和沙箱 15 3.10 自动优化设计 16 3.11 备份与恢复 17 3.12 部署的灵活性 17 3.13 强大的库内分析挖掘 18 3.14 结构化和非结构化融合分析 18 3.15 兼容性 20 3.16 基于HTML5 的图形化管理监控 21 3.17 SDK 22 四. 应用情况23 中国惠普有限公司 2 一. 简介 1.1 大数据给传统数据分析带来的挑战 我们正在进入大数据实时分析时代。随着互联网、移动互联网和各种智能终端 的大发展，各种数据无时不刻地生成，新数据的产生成大爆炸趋势；法规要求必须 保留更长时间的历史数据，以便更多的历史数据中更有效地分析各种业务变化的历 史趋势，为未来业务发展提供科学依据；企业的各种部门都需要对原始数据进行深 入分析和挖掘，以便即时改进业务决策。 然而，大数据的到来，也给目前传统的分析系统带来了巨大挑战： 1. 数据越来越多，超越了 I/O 极限。众所周知，I/O 能力一直都是传统数 据仓库系统的瓶颈。大数据的到来，更加重了I/O 瓶颈问题。 2. 分析查询性能低下。查询时间以数小时甚至数天计，有的分析算法甚至 根本无法运行。 3. 传统分析系统都是基于数据概要的统计分析，无法满足深度挖掘分析要 求。尚待挖掘的有价值的业务规律，往往隐藏在数据细节中。传统基于 数据概要的分析方法，阻碍了新的业务规律的发现，大大降低了业务数 据的分析价值。 4. 传统分析系统采用的批处理方式进行加载和汇总，无法满足时效性要求。 需要分析的数据量越来越多，要汇总的业务也越来越多，留给数据批量 加载和汇总的处理时间窗口越来越短，甚至根本无法完成。同时，批量 加载方式使得数据的时效性得不到保障，重要的商业机会稍纵即逝。 传统分析系统面临巨大挑战，究其根源，在于传统分析系统的架构过于陈旧， 跟不上时代的发展。传统分析系统大多都是基于行式的数据库和共享磁盘的纵向扩 展架构。 行数据库在执行查询时，需要把表的所有列都从磁盘中读到内存中，然后再进 中国惠普有限公司 3 行过滤、关联、分组等操作。对 OLAP 来说，通常需要在近百个列的表中读取几个 列，在行式数据库中会非常浪费I/O。 同时，传统分析系统采用共享磁盘纵向扩展架构，因为服务器硬件的纵向扩展 能力限制，计算能力的扩展也非常有限。 因此，在大数据面前，传统分析系统面临着严重的I/O 和扩展能力瓶颈。 市场上常见的宣称支持大数据实时分析的产品，大多都延续传统的行式数据库 技术，采用最高配的硬件及私有设备进行改良以降低I/O 消耗，指望提高性能。这 都只是“头痛医头”的策略，既大幅增加了硬件和升级维护成本，又无法根本解决 问题。 当然，某些传统分析数据库产品也意识到了行式数据库在分析领域的弊端，在 行