大数据处理平台-IBM.PDF

Solution name ESC 大数据处理平台 业务现状和面临的问题 我们总在说，世界正处在一个数据爆炸的时代。全球有1.2 万亿GB 的数据存在 于浩瀚的数字海洋中；过去 5 年，数据中心对资源的需求增长了 1 倍；互联网 连接的设备维持在每年42% 的高速增长。根据IDC 的统计，未来几年数字信息 将呈现出惊人的增长，预计到2020 年数字信息总量将增长44 倍；同时，全球 IT 运维成本将逐年攀升，到2012 年将接近2500 亿美元。 由此可见，我们日渐面临着越来越多的大数据挑战。人们能够访问丰富的信息， 但不知道如何从中获得业务价值，因为这些信息以最原始的形式或半结构化或 非结构化格式存在，这导致他们不知道这些信息是否值得保留（甚至能否保留）。 在科学研究领域，大数据处理无疑是其一项关键的业务应用需求。最有效的数 据管理解决方案必将可以有效应对不断激增的数据，并将科研机构引导向更为 广阔的发展空间。若要提升效率、增进成果、降低风险并提升研究优势，就必 须随时掌握已经收集到的数据信息，并通过这些数据获得新的洞察。因此，新 型分析应用程序需要一个大数据平台，用来建立、存取以及有效管理并交付可 信赖的数据。 IBM 大数据战略 IBM 大数据的战略是：使分析离数据更近。由此，IBM 构建了大数据平台体系， 将为用户提供如下功能：  集成并管理不同种类、不同速率及不同流量的数据  将高级分析应用于信息并且不改变信息的原本的格式  将所有可用信息可视化，供即席分析使用  为新型分析应用程序建立开发环境  优化工作负载并安排进度  安全和治理 可用 3 个特征要素来定义大数据：数量、种类和速度（如下图所示），也就是 V3 。这些特征相结合，定义了我们在 IBM 所称的“大数据”。他们创造了一 1 / 5 Solution name ESC 种需求，那就是使用一类新功能来改善当今的做事方式，提供对我们现有的知 识领域和驾驭其能力的更有效控制。 数量：如今存储的数据数量正在急剧增长。有关数据量的对话已从 TB 级别转 向 PB 级别，并且不可避免地会转向 ZB 级，而所有这些数据都不能仅仅存储 在传统的系统中。 种类：要利用大数据，我们必须能够分析研究所有类型的数据，包括关系和非 关系数据：文本、传感器数据、音频、视频、事务等。 速度：有效处理大数据需要在数据变化的过程中对其数量和种类执行分析，而 不只是在其静止后执行分析。因此，我们需要分析流数据和大量的持久数据。 在传统处理中，主要考虑对相对静止的数据运行查询；使用流计算，人们可以 执行一种类似于持续查询的流程，并将得到持续更新的结果，因为来自系统的 信息在实时刷新。 IBM 大数据平台组成 2 / 5 Solution name ESC 平台组成 功能/特征描述 对应产品 Hadoop 系统 --  利用企业功能增强开源 Hadoop IBM InfoSphere 管理多种、大量 BigInsights  性能优化 的数据  开发工具  企业集成  分析加速器  应用程序和行业加速器  可视化  安全 流计算  专为分析移动中的数据而构建 IBM InfoSphere