大数据分析的时代.pdfVIP

大数据分析的时代+  当数据以成百上千 TB 不断增长的时候，我们需要一种独特技术来应对这种前所未有的 挑战。 c% 全球各行各业的组织机构已经意识到，最准确的商务决策来自于事实，而不是凭空臆 想。这也就意味着，他们需要在内部交易系统的历史信息之外，采用基于数据分析的决策模 型和技术支持。互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据 和涉及网络的各类评论，成为了海量信息的多种形式。 何谓大数据？5 F3 k; i: O2 R, Q2 ?( G. i+ H 大数据，也就是国外常说的 Big Data。大数据概括成了三个 V，即大量化（Volume）、 多样化 （Variety）和快速化 （Velocity）。这些特点也反映了大数据所潜藏的价值 （Value）， 我们也可以认为，四个 V 高度概括了大数据的基本特征。 业界比较一致对大数据的定义是：大数据是指无法在一定时间内用常规软件工具对其内 容进行抓取、管理和处理的数据集合。 极具挑战性的是，传统的数据库部署不能处理数 TB 数据，也不能很好的支持高级别的 数据分析。在几年中，Hadoop 平台和列存储数据库开启了新一轮数据分析史上的革命。而 且近年来技术不断发展，我们开始看到，技术升级带来的已知架构之间的界限变得更加模糊。 更为重要的是，开始逐步出现了处理半结构化和非结构化信息的 NoSQL 等平台。 大数据分析的时代 本文中，我们将向大家介绍迄今为止，包括 EMC 的Greenplum、Hadoop和 MapReduce 等提供大数据分析的产品。此外，惠普前段时间收购实时分析平台 Vertica 数据仓库分析工 具等。下面，就让我们来了解业界大数据分析的这些产品： 1、模块化 EMC Appliance 处理多种数据类型 7 B% f5 d! N7 S u+ B8 p 2010年EMC 收购了Greenplum，随后，利用 EMC自身存储硬件和支持复制与备份功能的 Greenplum 大规模并行处理 （MPP）数据库，推出了 EMC Greenplum Data Computing Appliance (DCA)。通过与 SAS 和MapR 等合作伙伴，DCA 扩大了对 Greenplum 的数据库支持 。 \0 X% J! ~) Z5 E$ `5 [ ]7 b# j 支持大数据分析的 EMC Appliance 今年 5 月，EMC 推出了自己的 Hadoop软件工具，而且该公司还承诺，今年秋季发布的 模块化 DCA将支持 Greenplum SQL/关系型数据库，Hadoop 部署也能在同样的设备上得到支 持。借助 Hadoop，EMC 能够解决诸如网络点击数据、非结构数据等真正大数据分析的困难。 模块化的 DCA 也能够在同样的设备上支持长期保留的高容量的存储模块，从而满足监测需 求。 相对来说，EMC 的重点在利用 Greenplum 平台推进自身存储硬件的销售，在 Greenplum 平台的演进过程中，逐步发现 MPP架构的局限性，通过引入 Hadoop 的MapReduce 架构，顺 利解决了超大规模数据的处理的问题。 2、Hadoop 和 MapReduce 提炼大数据 Hadoop是一个开放源码的分布式数据处理系统架 构，主要面向存储和处理结