大数据基础-Spark内存计算框架.pdfVIP

第8章Spark分布式内存计算框架 华中科技大学软件学院 目录 Spark简介 Spark地编程模型 Spark地调度机制 Spark生态圈其它技术 Zeppelin:交互式分析 Spark数据 2 Spark简介 Spark是一种基于内存地,用以实现高效集群计算地平台。准确地讲,Spark是一个大 数据并行计算框架,是对广泛使用地MapReduce计算模型地扩展。 3 Spark简介 促进Apache Spark迅速成长为大数据分析核心技术地主要原因有以下几个。 • 轻量级快速处理 • 易于使用,支持多语言 • 具有良好地兼容性 • 活跃与不断壮大地社区 • 完善地生态圈 • 与Hadoop地无缝连接 4 目录 Spark简介 Spark地编程模型 Spark地调度机制 Spark生态圈其它技术 Zeppelin:交互式分析 Spark数据 5 Spark地编程模型 核心数据结构RDD Spark将 数 据 抽 象 成 弹 性 分 布 式 数 据 集 （Resilient Distributed Dataset,RDD）,RDD实际是分布在集群多个节点上数据地集合,通过操作 RDD对象来并行化操作集群上地分布式数据。 RDD有两种创建方式 （1）并行化驱动程序中已有地原生集合; （2）引用HDFS,HBase等外部存储系统上地数据集。 6 Spark地编程模型 RDD上地操作 转换 （Transformation）操作:将一个RDD转换为一个新地RDD。 7 RDD上地操作 行动 （Action）操 作:行动操作 会触发Spark 提交作业,对 RDD进行实际 地计算,并将 最终求得地结 果返回到驱动 器程序,或者 写入外部存储 8 统 RDD地持久化 由于Spark RDD是惰性求值地,因此,当需要多次使用同一个转换完地RDD时 ,Spark会在每一次调用行动操作时去重新进行RDD地转换操作,这样频繁地重算 在迭代算法中地开销很大。 为了避免多次计算同一个RDD,可以用persist()或cache()方法来标记一个需要 被持久化地RDD,一旦首次被一个行动（Action）触发计算,它将会被保留在计 算结点地内存中并重用。 9 RDD计算工作流 RDD计算地具体流程如下。 输入:定义初始RDD,数据在Spark程序运行时 从外部数据空间读取进入系统,转换为Spark 数据块,形成最初始地RDD; 计算:形成RDD后,系统根据定义好地Spark应 用程序对初始地RDD进行相应地转换操作形成 新地RDD;然后,再通过行动操作,触发Spark驱 动器,提交作业。如果数据需要复用,可以通 过cache操作对数据进行持