Chapter7-厦门大学-林子雨-大数据技术讲解原理与应用-第七章-MapReduce(2016年3月30日版本).ppt

;提纲;7.1 概述;7.1.1 分布式并行编程;7.1.1 分布式并行编程;7.1.2 MapReduce模型简介;7.1.3 Map和Reduce函数;7.2 MapReduce的体系结构;7.2 MapReduce的体系结构;7.3 MapReduce工作流程;7.3.1 工作流程概述;7.3.2 MapReduce各个执行阶段;7.3.2 MapReduce各个执行阶段;7.3.2 MapReduce各个执行阶段;7.3.3 Shuffle过程详解;7.3.3 Shuffle过程详解;7.3.3 Shuffle过程详解;7.3.4 MapReduce应用程序执行过程;7.4 实例分析：WordCount;7.4.1 WordCount程序任务;7.4.2 WordCount设计思路;7.4.3 一个WordCount执行过程的实例;7.4.3 一个WordCount执行过程的实例;7.4.3 一个WordCount执行过程的实例;7.5MapReduce的具体应用;7.5MapReduce的具体应用;7.5MapReduce的具体应用;7.6 MapReduce编程实践;7.6.1 任务要求;7.6.2 编写Map处理逻辑;7.6.3 编写Reduce处理逻辑;public static class MyReducer extends ReducerText,IntWritable,Text,IntWritable{ private IntWritable result = new IntWritable(); public void reduce(Text key, IterableIntWritable values, Context context) throws IOException,InterruptedException{ int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key,result); } } ;7.6.4 编写main方法;import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCount{ //WordCount类的具体代码见下一页 } ;;7.6.5 编译打包代码以及运行程序;7.6.5 编译打包代码以及运行程序;7.6.5 编译打包代码以及运行程序;7.6.5 编译打包代码以及运行程序;7.6.6 Hadoop中执行MapReduce任务的几种方式;本章小结;附录：主讲教师;附录：大数据学习教材推荐;附录：中国高校大数据课程公共服务平台;