第83课：用Scala与Java二种方式实战Spark Streaming开发.pdfVIP

第 83 课：用 Scala 和 Java 二种方式实战 Spark Streaming 开发 编写人：李林贵、姜伟 一、 Java 方式开发 1、开发前准备：假定您以搭建好了 Spark 集群。 2、开发环境采用 eclipse maven 工程 ，需要添加Spark Streaming 依赖。 3、Spark streaming 基于 Spark Core 进行计算 ，需要注意事项： 设置本地 master ，如果指定local 的话，必须配置至少二条线程，也可通过 sparkconf 来设置，因为 Spark Streaming 应用程序在运行的时候，至少有一条线程用 于不断的循环接收数据，并且至少有一条线程用于处理接收的数据（否则的话无法有 线程用于处理数据），随着时间的推移，内存和磁盘都会不堪重负）。 温馨提示： 对于集群而言，每隔 Executor 一般肯定不只一个Thread ，那对于处理Spark Streaming 应用程序而言，每个 Executor 一般分配多少 core 比较合适？根据我们过去 的经验，5 个左右的 core 是最佳的（段子 ：分配为奇数个 core 的表现最佳 ，例如：分 配 3 个、5 个、7 个 core 等）。 接下来，让我们开始动手写 Java 代码吧！ 第一步 ，配置 SparkConf ： /* * 第一步：配置SparkConf： * 1 2 Spark Streaming ，至少 条线程：因为 应用程序在运行的时候，至少有一条 * 线程用于不断的循环接收数据，并且至少有一条线程用于处理接受的数据（否则的话无法 * 有线程用于处理数据，随着时间的推移，内存和磁盘都会不堪重负）； * 2，对于集群而言，每个Executor 一般肯定不止一个Thread，那对于处理Spark Streaming 的 * Executor Core 5 应用程序而言，每个 一般分配多少 比较合适？根据我们过去的经验， 个左右的 * Core Core 3 5 7 Core 是最佳的（一个段子分配为奇数个 表现最佳，例如 个、 个、 个 等）； */ /*SparkConf conf = new SparkConf().setMaster(local[2]). setAppName(WordCountOnline);*/ SparkConf conf = new SparkConf().setMaster(spark://Master:7077). setAppName(WordCountOnline); 第二步 ，创建 SparkStreamingContext ： 我们采用基于配置文件的方式创建 SparkStreamingContext 对象。 /* * 第二步：创建SparkStreamingContext： * 1，这个是SparkStreaming 应用程序所有功能的起始点和程序调度的核心 * SparkStreamingContext 的构建可以基于SparkConf 参数，也可基于持久化的SparkStreamingContext 的 * 内容来恢复过来（典型的场景是Driver 崩溃后重新启动，由于Spark Streaming 具有连续7*24 小时不， * 间断运行的特征所有需要在Driver 重新启动后继续上衣系的状态，此时的状态恢复需要基于曾经的 * Checkpoint ）； * 2，在一个Spark Streaming 应用程序中可以创建若干个SparkStreamingContext 对象，使用下一个 * SparkStreamingContext 之前需要把前面正在运行的SparkStreamingContext 对象关闭掉，由此， * 我们获得一个重大的启发，SparkStreaming 框架也只是Spark Core 上的一个应用程序而已，