MPP数据库将支撑起大数据时代[归纳].pdfVIP

新型 MPP 数据库将支撑起大数据时代 大数据这个领域过去 5 年发展很快、 热度很高， 但是总的来说目前还在起步阶段。 本次 研讨会我会先谈谈数据， 以及大数据对数据处理技术的压力， 然后为大家分享一下为什么这 几年数据处理技术上的创新很多。 1. 数据价值的发现与使用 在大数据的 4 个 V 中，最显著的特征应该是 Value( 价值 ) 。不管数据多大， 是什么结构， 来源如何，能给使用者带来价值的数据是最重要的数据。 我跟数据打了 20 多年的交道，从来没感觉到搞数据的地位有今天这么高。整个社会对 数据的认知变了， 大数据最大的贡献至少是让社会各个层面开始认识到数据的重要性， 包括 最高领导和底层的老百姓。 目前大家基本达成共识：数据像石油、煤一样是宝贵的资产，其内在的价值非常巨大。 另外一个显著的贡献无疑是互联网企业对于数据的巧妙使用和价值体现。 2. 数据处理技术的回顾 互联网的数据“大” 是不争的事实， 现在分析一下数据处理技术面临的挑战。 目前除了 互联网企业外，数据处理领域还是传统关系型数据库 (RDBMS)的天下。传统 RDBMS的核心设 计思想基本上是 30 年前形成的。过去 30 年脱颖而出的无疑是 Oracle 公司。全世界数据库 市场基本上被 Oracle ，IBM/DB2，Microsoft/SQL Server 垄断，其他几家市场份额都比较 小。 SAP去年收购了 Sybase ，也想成为数据库厂商。有份量的独立数据库厂商现在就剩下 Oracle 和 Teradata 。开源数据库主要是 MySQL，PostgreSQL ，除了互联网领域外，其他行 业用的很少。这些数据库当年主要是面向 OLTP交易型需求设计、开发的，是用来开发人机 会话应用为主的。 这些传统数据库底层的物理存储格式都是行存储， 比较适合数据频繁的增 删改操作，但对于统计分析类的查询，行存储其实效率很低。在这些成熟的数据库产品中， 有 2 个典型特例：一个是 Teradata ，一个是 Sybase IQ 。 Teradata 一开始就使用 MPP(Massive Parallel Processing) 架构，以软硬一体机的产 品方式提供给客户，其定位是高端客户的数据仓库和决策分析系统， Teradata 在全世界的 客户只有几千个。在这个数据分析高端市场上， Teradata 一直是老大，在数据分析技术上 Oracle 和 IBM 打不过 Teradata 。Sybase IQ 是一款最早基于列存储的关系型数据库产品， 其定位跟 Teradata 类似，不过是以软件方式销售的。 Teradata 和 Sybase IQ 在数据分析应 用上的性能其实都比 Oracle ，DB2等要普遍好。 3. 数据增长加速，数据多样化，大数据时代来临 如果说现在是大数据时代了， 其实是数据来源发生了质的变化。 在互联网出现之前， 数 据主要是人机会话方式产生的， 以结构化数据为主。 所以大家都需要传统的 RDBMS来管理这 些数据和应用系统。 那时候的数据增长缓慢、 系统都比较孤立， 用传统数据库基本可以满足 各类应用开发。 互联网的出现和快速发展， 尤其是移动互联网的发展， 加上数码设备的大规模使用， 今 天数据的主要来源已经不是人机会话了， 而是通过设备、 服务器、 应用自动产生的。传统行 业的数据同时也多起来了，