26-Pipeline：Beam如何抽象多步骤的数据流水线？.pdfVIP

2266--PPiippeelliinnee：：BBeeaamm如如何何抽抽象象多多步步骤骤的的数数据据流流水水线线？？

你好，我蔡元楠。

今天我要与你分享的主题“Pipeline：Beam如何抽象多步骤的数据流水线”。

在上两讲中，我们一起学习了Beam如何抽象封装数据，以及如何抽象对于数据集的转换操作的。在掌握

了这两个基本概念后，我们就可以很好地回答Beam编程模型里的4个维度What、Where、When、How中的

第一个问题——What了。也就，我们要做什么计算？想得到什么样的结果？

这个时候你可能已经跃跃欲试，开始想用PCollection和Transform解决我们平常经常会使用到的批处理任务

了。没有问题，那我们就先抛开Where、When和How这三个问题，由简至繁地讲起。

现在假设我们的数据处理逻辑只需要处理有边界数据集，在这个情况下，让我们一起来看看Beam如何运

行一套批处理任务的。

数数据据流流水水线线

在Beam的世界里，所有的数据处理逻辑都会被抽象成数数据据流流水水线线（（PPiippeelliinnee））来运行。那么什么数据流

水线呢？

Beam的数据流水线对于数据处理逻辑的一个封装，它包括了从读读取取数数据据集集，将将数数据据集集转转换换成成想想要要的的结结果果

和输输出出结结果果数数据据集集这样的一整套流程。

所以，如果我们想要跑自己的数据处理逻辑，就必须在程序中创建一个Beam数据流水线出来，比较常见的

做法在main()函数中直接创建。

Java

-2-

PipelineOptions options = PipelineOptionsFactory.create();

Pipeline p = Pipeline.create(options);

在创建Beam数据流水线的同时，我们必须给这个流水线定义一个选选项项（Options）。这个选项会告诉

Beam，用户的Pipeline应该如何运行。例如，在本地的内存上运行，还在Apache Flink上运行？关于具

体Beam选项的解释，我会在第30讲中展开讲解。

BBeeaamm数数据据流流水水线线的的应应用用

有了数据流水线这个抽象概念之后，我们就可以将PCollection和Transform应用在这个流水线里面了。

上图就一个Beam的数据流水线，整个数据流水线包括了从读取数据，到经过了N个Transform之后输出数

据的整个过程。

在第24讲中我们学习过PCollection的不可变性。也就说，一个PCollection一经生成，我们就不能够再增

加或者删除它里面的元素了。所以，在Beam的数据流水线中，每次PCollection经过一个Transform之后，

流水线都会新创建一个PCollection出来。而这个新的PCollection又将成为下一个Transform的新输入。

-3-

在上图的示例中，Beam数据流水线在经过Transform1读取了输入数据集之后，会创建出一个新的

PCollection1，而经过了Transform2之后，数据流水线又会创建出新的PCollection2出来，同时PCollection1

不会有任何改变。也就说，在上面的例子中，除去最终的输出结果，数据流水线一共创建了3个不同的

PCollection出来。

这种特性可以让我们在编写数据处理逻辑的时候，对同一个PCollection应用多种不同的Transfrom。

例如下图所示，对于PCollection1，我们可以使三个不同的Transform应用在它之上，从而再产生出三个不

同的PCollection2、PCollection3和PCollection4出来。

BBeeaamm数数据据流流水水线线的的处处理理模模型型

在了解完Beam数据流水线高度抽象的概念后，紧接着，我想和你介绍一下Beam数据流水线的处理模型，

也就数据流水线在运行起来之后，会发生些什么，它如何处理我们定义好的PCollection和Transform

的。

-4-

Beam数据流水线的底层思想其实还动用了MapReduce的原理，在分布式环境下，整个数据流水线会启动

N个Workers来同时处理PCollection。而在具体处理