第7章 Spark Streaming实时计算框架-教学设计.doc

博学谷——让IT教学更简单，让IT学习更有效

PAGE12

PAGE2

《Spark大数据分析与实战（第2版）》

教学设计

课程名称：

授课年级：

授课学期：

教师姓名：

年月

课题名称

第7章SparkStreaming实时计算框架

计划课时

6课时

教学引入

数据的业务价值随着时间的流逝会迅速降低，因此在数据发生后必须尽快对其进行计算和处理，而传统的大数据处理模式对于数据加工均遵循传统日清日毕模式，即以小时甚至以天为计算周期对当前数据进行累计并处理，显然这类处理模式无法满足对数据实时计算的需求，此时新的大数据处理模式———实时计算便应运而生。Spark中的SparkStreaming就是为了满足实时计算需求而设计的框架。本章以实时计算为基础逐步讲解SparkStreaming的相关知识。

教学目标

使学生了解什么是实时计算，能够说出实时计算的特征以及应用场景

使学生了解SparkStreaming简介，能够说出SparkStreaming优点和缺点

使学生熟悉SparkStreaming的工作原理，能够叙述SparkStreaming如何处理数据流

使学生熟悉SparkStreaming的DStream和编程模型，能够叙述DStream的结构和编程模型的构成

使学生掌握SparkStreaming的API操作，能够通过ScalaAPI实现输入操作、转换操作、输出操作和窗口操作

使学生掌握SparkStreaming整合Kafka，能够使用使用Direct方式接收Kafka输入的数据流

教学重点

输入操作

转换操作

输出操作

窗口操作

案例——电商网站实时热门品类统计

SparkStreaming整合Kafka

教学难点

转换操作

窗口操作

SparkStreaming整合Kafka

教学方式

课堂教学以PPT讲授为主，并结合实际操作进行教学

教

学

过

程

第一、二课时

（实时计算概述、SparkStreaming简介、SparkStreaming工作原理、SparkStreaming的DStream、SparkStreaming的编程模型、输入操作、转换操作、输出操作）

一、复习巩固

教师通过上节课作业的完成情况，对学生吸收不好的知识点进行再次巩固讲解。

二、通过直接导入的方式导入新课

实时计算是一种数据处理方式，它能够在数据产生后立即对其进行处理和分析，从而能够及时地获得有用的决策支持。SparkStreaming作为一个实时计算框架，能够为开发人员提供快速、高效的实时数据处理能力。在本节课中，我们将学习SparkStreaming的基础知识。

三、新课讲解

知识点1-实时计算概述

教师通过PPT的方式讲解实时计算概述。

介绍实时计算的特征

实时处理无界的数据流

高效的计算

实时的数据集成

介绍实时计算的应用场景

实时智能推荐

实时欺诈检测

实时交通管理

知识点2-SparkStreaming简介

教师通过PPT的方式讲解SparkStreaming简介。

SparkStreaming的优点

准实时性

容错性

易用性

易整合性

SparkStreaming的缺点

知识点3-SparkStreaming工作原理

教师通过PPT的方式讲解SparkStreaming工作原理。

介绍SparkStreaming支持的输入和输出数据源

介绍SparkStreaming内部的工作原理

知识点4-SparkStreaming的Dstrean

教师通过PPT的方式讲解SparkStreaming的DStream。

介绍DStream的概念

讲解DStream的内部结构

知识点5-SparkStreaming的编程模型

教师通过PPT的方式讲解SparkStreaming的编程模型。

介绍SparkStreaming的编程模型

介绍DStream的转换过程

知识点6-输入操作

教师通过PPT结合实际操作的方式讲解输入操作。

Socket

介绍从Socket实时接收输入的数据流生成DStream的语法格式

演示在SparkStreaming程序中从TCPSocket实时接收输入的数据流并生成DStream

文件系统

① 介绍从文件系统实时接收输入的数据流生成DStream的语法格式

② 演示在SparkStreaming程序中从HDFS实时接收输入的数据流并生成DStream

知识点7-转换操作

教师通过PPT结合实际操作的方式讲解转换操作。

介绍SparkStreamingAPI