第七章 更强的大象-MapReduce 高级程序设计续.pdfVIP

第七章 更强的大象-MapReduce 高级程序设计续 在前面章节学习中读者学习使用了自定义的Map 和Reduce 进行程序设计，并掌握了基 本环境设置。但是读者可能会注意到，在进行程序设计时，对于设计模型的选择基本上是以 默认的设计模型为主，而我们所自定义的无非就是map 方法与reduce 方法。 这在实际应用中基本上没有应用价值的。 在本章中作者将向读者演示更多的MapReduce 的设置与定义方法，归根结底就是帮助读 者能够设计出更为强大的自定义MapReduce 程序。 7.1 MapReduce 程序设计默认格式类型详解 对于任何一个希望写出自定义 MapReduce 程序的程序设计人员来说，优先使用的应该 是 MapReduce 默认的格式类型。从最基本的使用性能上来考虑，默认的格式类型是经过大 牛们千锤百炼设计和创作出来的，安全、性能、稳定方面考虑都强于我们自定义的类型，所 以作者的建议是在进行MapReduce 程序设计时还是首选默认类型。 7.1.1 map 与reduce 方法的默认输入输出类型 任何一个MapReduce 的基本输如输出格式可以归结为如下的格式类型： map：（k1，v1 ） - list （k2，v2 ）； reduce ：（k2，list （v2 ）） - list （k3，v3 ）； 首先对于Map 来说，自定义的map 方法中接受的键值对 （k1，v1 ）是不同于其输出的 键值对（k2，v2 ）的。 Map 方法的源码如下所示： public class mapKEYIN, VALUEIN, KEYOUT, VALUEOUT { //设置map 类 … public class Context extends MapContextKEYIN,VALUEIN,KEYOUT,VALUEOUT { … protected void map(KEYIN key, VALUEIN value,Context context) throws IOException, InterruptedException { //设置Map 方法 … 方法中被定义了一个泛型，KEYIN 和VALUEIN 分别对应于输入的键值对格式类型。而KEYOUT 和VALUEOUT 分别对应于输出的键值对格式类型。 而对于Reduce 来说，reduce 方法定义的源码如下所示： public class reduceKEYIN,VALUEIN,KEYOUT,VALUEOUT { //设置Reduce 类 … public class Context extends ReduceContextKEYIN,VALUEIN,KEYOUT,VALUEOUT { … protected void reduce(KEYIN key, IterableVALUEIN values, Context context) throws IOException, InterruptedException { //设置Reduce 方法 与map 方法类似，reduce 也被定义了一个泛型，KEYIN 和VALUEIN 分别对应于输入的键 值对类型。而KEYOUT 和VALUEOUT 分别对应于输出的键值对类型。 从中可以看到，在自定义的reduce 中对于输出的键值对，要求与map 中输出键值对相 对应。原因很好理解，reduce 方法就是对map 方法的输出结果进行再次处理。而对于reduce 方法的输出，则可能会根据需要产生一个新的输入输出的类型。 而读者可能会奇怪，无论是Map 还是Reduce 类中都包含一个Context 类型，对于Context 类型来说，其作用是构建一个上下文系统，解决输入输出类型在Hadoop 框架内传送的问题。 通过write 方法，可以很容易的在Map 与Reduce 之间传递数据。其源码如下： public void write(KEYOUT key, VALUEOUT value) throws IOException, InterruptedException {