Spark项目实战培训大纲.docxVIP

Spark项目实战培训大纲 第1 章 Spark 的设计与运行原理 1、概述 2、 Spark 生态系统 3、Spark 运行架构 基本概念 架构设计 Spark 运行基本流程 RDD 的设计与运行原理 4、Spark 的部署方式 5、Spark 和Hadoop 的交互 6、在spark-shell 中运行代码 spark-shell 命令 启动spark-shell 7、开发Spark 独立应用程序 安装编译打包工具 编写Spark 应用程序代码 编译打包 通过spark-submit 运行程序 8、 Spark 集群环境搭建 集群概况 集群部署方案 9、在集群上运行Spark 应用程序 启动Spark 集群 采用独立集群管理器 采用Hadoop YARN 管理器 第2 章 RDD 编程实战 1、 RDD 编程基础 RDD 创建 RDD 操作 持久化 分区 一个综合实例 2、键值对RDD 键值对RDD 的创建 常用的键值对转换操作 3、数据读写 文件数据读写 读写HBase 数据 4、综合实例 求TOP 值 文件排序 二次排序 第3 章 Spark SQL 实战 Spark SQL 简介 Shark功能 Spark SQL 架构 为什么推出Spark SQL 2、DataFrame 概述 3、DataFrame 的创建 4、DataFrame 的保存 5、 DataFrame 的常用操作 6、从RDD 转换得到DataFrame 利用反射机制推断RDD 模式 使用编程方式定义RDD 模式 7、使用Spark SQL 读写数据库 通过JDBC 连接数据库 连接Hive 读写数据 第4章 Spark Streaming实战 1、流计算概述 静态数据和流数据 批量计算和实时计算 流计算概念 流计算框架 流计算处理流程 2、 Spark Streaming Spark Streaming 设计 Spark Streaming 与Storm 的对比 Hadoop+Storm”架构转向Spark 架构 3、DStream 操作概述 Spark Streaming 工作机制 编写Spark Streaming 程序的基本步骤 创建StreamingContext 对象 4、基本输入源 文件流 RDD 队列流 5、高级数据源 Kafka 简介 Kafka 准备工作 Spark 准备工作 编写Spark Streaming 程序使用Kafka 数据源 第6章 Spark Mllib 实战 1、 基于大数据的机器学习 2、Spark机器学习库MLlib 概述 3、机器学习流水线 流水线的概念 流水线工作过程 4、特征提取、转换和选择 特征提取 特征转换 特征选择 局部敏感哈希 5、分类算法 逻辑回归分类器 决策树分类器 6、聚类算法 K-Means 聚类算法 GMM 聚类算法 8、协同过滤算法 第7章 Spark监控和优化 1、Spark UI 监控界面 标签类型 各个界面用途、界面各个元素含义 执行计划图 异常分析 常见优化分析 框架配置优化 应用配置优化 Rdd初始分区数 spark sql的调优 spark stream的调优 shuffle的关注 问题关注点 多表关联 多数据集处理 Spark可选可视化方案 Spark内存调度 Spark垃圾回收