Spark大数据分析 课件全套 蒋一锄 第1--6章 大数据与Spark简介--- Spark存储原理.pptx

;;;大数据简介;大数据简介;;大数据相关技术;大数据相关技术

;大数据相关技术

;大数据相关技术

;大数据相关技术

;;;;;Spark特性;Spark特性;;Spark的历史与发展;;Spark组件;Spark组件;Spark组件

;Spark组件;Spark组件;;;目录/Contents;;Hadoop;Hadoop;;Storm;Storm;Storm;;Flink;;Beam;;;目录/Contents;;系统环境配置;系统环境配置;;JDK安装;Storm;JDK安装;Storm;;Hadoop集群部署;Hadoop集群部署;;ZooKeeper集群部署;Flink;;Scala安装;Flink;;;目录/Contents;;Standalone模式部署;Standalone模式部署;;SparkonYARN模式部署;SparkonYARN模式部署;;SparkHA集群部署;SparkHA集群部署;;;目录/Contents;;基本概念;Standalone模式部署;Standalone模式部署;Standalone模式部署;;Spark集群运行架构;;Spark运行基本流程;Spark运行基本流程;;;目录/Contents;;Spark-Shell简介与交互;Spark-Shell简介与交互;Spark-Shell简介与交互;;;;;Scala简介;Scala简介;;;目录/Contents;;Windows下Scala安装;Windows下Scala安装;Windows下Scala安装;;IDEA安装Scala;Windows下Scala安装;Windows下Scala安装;Windows下Scala安装;Windows下Scala安装;;;目录/Contents;;Scala数据类型;Scala数据类型;;Scala变量;Scala变量;Scala变量;;Scala有方法与函数，二者在语义上的区别很小。Scala中的方法跟Java的类似，方法是组成类的一部分，而函数是一个对象可以赋值给一个变量。换句话来说在类中定义的函数即是方法。Scala中使用val语句可以定义函数，def语句定义方法。;方法与函数;;方法与函数;;;目录/Contents;;类和对象;;继承;;单例对象和伴生对象;;;目录/Contents;;数组;数组;数组;;元祖;;集合;元祖;元祖;;;;;RDD概述;RDD概述;RDD概述;;;目录/Contents;;通过读取文件生成RDD;;通过并行化方式创建RDD;;;目录/Contents;;转换算子;转换算子;;行动算子;行动算子;;;目录/Contents;;RDD之间的依赖关系;RDD之间的依赖关系;RDD之间的依赖关系;RDD之间的依赖关系;;;目录/Contents;;持久化机制;持久化机制;持久化机制;;容错机制;容错机制;;;目录/Contents;;什么是SparkSQL;什么是SparkSQL;;SparkSQL架构;;;;;什么是SparkSQL;什么是SparkSQL;什么是SparkSQL;;SparkSQL架构;SparkSQL架构;SparkSQL架构;SparkSQL架构;SparkSQL架构;;;目录/Contents;;DataFrames创建;DataFrames创建;;操作DataFrames;;RDD转换为DataFrames;;;目录/Contents;;MySQL数据???操作;MySQL数据源操作;;Hive数据源操作;Hive数据源操作;;;目录/Contents;;SparkSQL实现单词统计;;SparkSQL实现单词统计;;;;;什么是流式计算;什么是流式计算;;什么是SparkStreaming;什么是SparkStreaming;什么是SparkStreaming;;SparkStreaming工作原理;SparkStreaming工作原理;;;;;什么是DStream;什么是DStream;;DStream转换操作;什么是DStream;;DStream输出;DStream输出;;SparkStreaming窗口操作;;;目录/Contents;;SparkStreaming实现单词统计;;SparkStreaming热搜统计;;自定义输出;;SparkStreaming窗口计算;