hadoop的大数据处理讲义-c6. mapreduce 2-续.pdfVIP

海量数据处理中的云计算 C6. MapReduce （二续） 北京邮电大学信息与通信工程学院 刘军 liujun@ 2014年春季学期 新闻时事  Google等 1.6亿美元 + Intel 7.4亿美元（18%股份）  估值41亿美元 ≈ 新浪 第2页 本节目录  MapReduce开发流程  MapReduce设计模式  MapReduce算法实战 – 相关计数（Stripes ）  MapReduce程序调试  MapReduce程序实例 第3页 设计模式（6 ）－相关计数 （Stripes ） Stripes Map Stripes Reduce 1: method map(fileName, fileContent) 1: method reduce(p1, [array1, array2, …]) 2: H = new Array[][] 2: countArray = new Array 3: for each line in fileContent do 3: for each array in [array1, array2, …] do 4: user, site = getProperties(line) 4: sum(countArray, array) 5: H[user][site] += 1 5: Emit(countArray.user, countArray) 6: for each h in H do 7: Emit(h.user, H[user]) 第4页 本节目录  MapReduce开发流程  MapReduce设计模式  MapReduce算法实战  MapReduce程序调试  MapReduce程序实例 第5页 MapReduce程序的单元测试  单元测试  JUnit  MRUnit – 专门针对MapReduce代码编写的单元测试框架  四类Driver – MapDriver ，针对单独的Map测试 – ReduceDriver ，针对单独的Reduce测试。 – MapReduceDriver ，将Map和Reduce连贯起来测试。 – PipelineMapReduceDriver ，将多个Map-Reduce pair贯穿测试 第6页 使用MRUnit测试MapReduce程序 public class WordCountTest { private Mapper mapper; // 按空格切分单词 结果会符合预期吗？ private Reducer reducer; // 统计每个单词次数 private MapReduceDriver driver; public void init(){ mapper = new WordCountMapper(); reducer = new WordCountReducer(); driver = new