Flink本地执行（LocalExecution）.PDF

Flink：本地执行(Local Execution) Spark大数据博客 - Flink：本地执行(Local Execution) Flink可以在单台机器上运行，甚至是单个Java虚拟机(Java Virtual Machine)。这种机制使得 用户可以在本地测试或者调试Flink程序。本节主要概述Flink本地模式的运行机制。 本地环境和执行器(executors)运行你在本地的Java虚拟机上运行Flink程序，或者是在属于正 在运行程序的如何Java虚拟机上。对于大部分示例程序而言，你只需简单的地点击你IDE上的运行 (Run)按钮就可以执行。 Flink支持两种不同的本地执行模式：(1)、LocalExecutionEnvironment 启动了Flink完整的运 行环境，包括一个JobManager和一个TaskManager。运行环境中包括了内存管理，并且所有的内 部算法再试在集群模式下运行的。(2)、CollectionEnvironment在Java集合上运行Flink程序。这种 模式下不会启动Flink完整的执行环境，所以这种模式负载非常低，而且非常轻量级。例如 DataSet.map()-转换操作，执行器将是对Java list里的所有元素进行map()函数的操作。 调试 如果你本地运行Flink程序，你可以像普通的Java程序一样调试Flink程序。 你既可以使用System.out.println()打印一些内部变量，或者使用调试工具。 你还可以在map(), reduce() 或者其他方法中打断点。更多的详情请参见Java API文档中的调试章节，以便了解如何使用Java API工具进行测试或者本地调试等。 Maven依赖 如果你在Maven工程中开发你的程序，你需要将flink-clients模块加入到你项目的依赖中： dependency groupidorg.apache.flink/groupid artifactidflink-clients_2.10/artifactid version1.1-SNAPSHOT/version /dependency 本地执行 LocalEnvironment是在本地模式运行Flink程序的句柄，可以用它在本地的 JVM （standalone 或嵌入其他程序）里运行程序。本地执行环境是通过调用ExecutionEnvironment.createLocalEnvi ronment()方法实现的。默认情况下，Flink会根据你机器的CPU核数开启同样多的线程来执行程序 。当然，我们可以指定程序的并行度。本模式的日志可以通过enableLogging()/disableLogging() 来设置是否向标准输出输出。 1 / 3 Flink：本地执行(Local Execution) Spark大数据博客 - 在大多数情况下，推荐使用ExecutionEnvironment.getExecutionEnvironment()来获得Flink 的运行环境。 当程序是在本地（未使用命令行接口）启动时，该方法会返回LocalEnvironment， 当程序是通过命令行接口命令行接口（CLI）提交时，则该方法会返回集群的执行环境。 public static void main(String[] args) throws Exception { ExecutionEnvironment env = ExecutionEnvironment.createLocalEnvironment(); DataSetString data = env.readTextFile(file:///path/to/file); data .filter(new FilterFunctionString() { public boolean filter(String value) { return val