Spark及其生态圈简介详解.pdfVIP

Spark 及其生态圈简介 第 1 页 共 18 页 出自石山园，博客地址：/shishanyuan 目 录 1 简介3 1.1 SPARK简介3 1.2 SPARK与HADOOP差异4 1.3 SPARK 的适用场景5 1.4 SPARK演进时间表5 1.5 SPARK成功案例6 1.6 SPARK术语7 1.6.1 Spark运行模式 7 1.6.2 Spark常用术语8 2 生态系统8 2.1 SPARK CORE 9 2.2 SPARKSTREAMING 10 2.3 SPARK SQL12 2.4 BLINKDB13 2.5 MLBASE/MLLIB 14 2.6 GRAPHX 15 2.7 SPARKR 16 2.8 TACHYON 17 第 2 页 共 18 页 出自石山园，博客地址：/shishanyuan Spark 及其生态圈简介 1 简介 1.1 Spark 简介 Spark 是加州大学伯克利分校AMP 实验室（Algorithms, Machines, and People Lab ）开 发通用内存并行计算框架。Spark 在 2013 年 6 月进入Apache 成为孵化项目，8 个月后成为 Apache 顶级项目 ，速度之快足见过人之处 ，Spark 以其先进的设计理念，迅速成为社区的热门 项目 ，围绕着Spark 推出了Spark SQL、Spark Streaming、MLLib 和GraphX 等组件 ，也就 是 BDAS （伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台。从各方面报道 来看Spark 抱负并非池鱼，而是希望替代 Hadoop 在大数据中的地位，成为大数据处理的主流 标准 ，不过Spark 还没有太多大项目的检验，离这个目标还有很大路要走。 Spark 使用Scala 语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集 合对象一样轻松地操作分布式数据集（Scala 提供一个称为 Actor 的并行模型，其中Actor 通 过它的收件箱来发送和接收非同步信息而不是共享数据 ，该方式被称为：Shared Nothing 模 型）。在Spark 官网上介绍，它具有运行速度快、易用性好、通用性强和随处运行等特点。  运行速度快 Spark 拥有 DAG 执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明， 如果数据由磁盘读取，速度是Hadoop MapReduce 的10 倍以上，如果数据从内存中读取， 速度可以高达100 多倍。  易用性好 Spark 不仅支持 Scala 编写应用程序，而且支持Java 和 Python 等语言进行编写 ，特别 是Scala 是一种高效、可拓展的语言 ，能够用简洁的代码处理较为复杂的处理工作。  通用性强 Spark 生态圈即 BDAS （伯克利数据分析栈）包含了 Spark Core、Spark SQL、Spark 第 3 页 共 18 页 出自石山园，博客地址：/shishanyuan Streaming、MLLib 和GraphX 等组件，这些组件分别处理Spark Core 提供内存计算框架、 SparkStreaming 的实时处理应用、Spark SQL 的即席查询、MLlib 或MLbase 的机器学习 和GraphX 的图处理 ，它们都是由AMP 实验室提供，能够无缝的集成并提供一站式解决平 台。  随处运行 Spark 具有很强的适应性 ，能够读取HDFS、Cassandra、HBase、S3 和Techyon 为持 久层读写原生数据 ，能够以Mesos、YARN 和自身携带的Standalone 作为资源管理器调度 job ，来完成Spark 应用程序的计算。 1.2 Spark 与Hadoop 差异 Spark 是在借鉴