《大数据与云计算》课件——12.Spak.pptxVIP

大数据与云计算

知识点Spark简介

Spark简介3Spark的特性1Spark概述2Spark发展历程5Spark运行模式6Spark架构角色4Spark框架模块

Spark简介一、Spark概述Spark是UCBerkekeyAMPLab开发的通用分布式并行计算框架Spark基于MapReduce算法实现分布式计算，拥有HadoopMapReduce所具有的优点，不同的是工作中的中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此，Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce算法Spark是基于内存的计算框架，计算速度快，但它仅涉及计算，并不涉及数据存储，后期仍需要使用Spark对接外部的数据源，如hdfs等。

Spark简介二、Spark发展历程2009年，诞生于伯克利大学Map实验室2010年，通过BSD许可协议正式对外开源发布2012年，发布第一个正式版本Spark0.6.02013年，捐赠给Apache软件基金会并切换开源许可协议至Apache2.0，发布SparkStreaming、SparkMlib、Shark2014年，成为ASF的顶级项目，5月底发布Spark1.0.0，发布SparkGraphx、SparkSQL2015年，推出大数据分析DataFrame，国内大量IT公司开始重点部署或者使用Spark来替代MapReduce、Hive、Storm等传统的大数据计算框架2016年，推出更强的数据分析手段DataSet2017年，发布StructuredStreaming2018年，发布Spark2.4.0，成为全球最大的开源项目

Spark简介三、Spark的特性易用性速度快通用性兼容性

Spark简介四、Spark的框架模块SparkCoreSparkSQLSparkStreamingSparkMLSparkGraphx

Spark简介五、Spark的运行模式本地模式Standlone模式Hadoopyam模式Kubernetes模式云服务器模式

Spark简介六、Spark的架构角色

知识点Spark入门

1Spark的安装与配置2Spark编程基础Spark入门

Spark入门一、Spark的安装1.安装Java环境2.安装hadoop3.安装spark

Spark入门一、Spark的安装

A配置环境变量C配置Spark-envB配置主机信息DSource配置文件Spark入门Spark的配置

Spark的简单使用01Spark的交互模式02Spark编写执行独立程序03Spark入门二、Spark编程基础

Spark入门课程总结2Spark的特性与主要构成1Spark的发展历程43Spark的安装与配置Spark交互编程与独立编程

思考：Spark是一门程序设计语言吗？

谢谢观看大数据与云计算专业资源库