it教程网hadoop04笔记四天.pptxVIP

北京传智播客教育北京传智播客教育Hadoop深入浅出

北京传智播客教育课程安排Partitioner编程**自定义排序编程**Combiner编程**常见的MapReduce算法**---------------------------加深拓展----------------------Mapreduce原理及源码分析

北京传智播客教育

Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。2.HashPartitioner是mapreduce的默认partitioner。计算方法是whichreducer=(key.hashCode()Integer.MAX_VALUE)%numReduceTasks，得到当前的目的reducer。3.(例子以jar形式运行)

Partitioner编程

北京传智播客教育

在map和reduce阶段进行排序时，比较的是k2。v2是不参与排序比较的。如果要想让v2也进行排序，需要把k2和v2组装成新的类，作为k2，才能参与比较。分组时也是按照k2进行比较的。

排序和分组

北京传智播客教育

Combiners编程每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。注意：Combiner的输出是Reducer的输入，如果Combiner是可插拔的，添加Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致，且不影响最终结果的场景。比如累加，最大值等。

Job执行流程图

北京传智播客教育

北京传智播客教育Shuffle每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件。写磁盘前，要partition,sort。如果有combiner，combine排序后数据。等最后记录写完，合并全部溢出写文件为一个分区且排序的文件。Reducer通过Http方式得到输出文件的分区。TaskTracker为分区文件运行Reduce任务。复制阶段把Map输出复制到Reducer的内存或磁盘。一个Map任务完成，Reduce就开始复制输出。排序阶段合并map输出。然后走Reduce阶段。

北京传智播客教育

hadoop的压缩codecCodec为压缩，解压缩的算法实现。

在Hadoop中，codec由CompressionCode的实现来表示。下面是一些实现：

北京传智播客教育

MapReduce的输出进行压缩输出的压缩属性：

北京传智播客教育MapReduce常见算法单词计数数据去重排序TopK选择投影分组多表连接单表关联

北京传智播客教育思考题如何使用计数器Combiner的作用是什么，应用场景是什么Partitioner的作用是什么，应用场景是什么Shuffler的过程是什么