大数据技术原理与应用第七章MapReduce分析.pptVIP

第七章 MapReduce 提要7.1 概述7.2 MapReduce体系构造7.3 MapReduce工作流程7.4 实例分析：WordCount7.5 MapReduce的详细应用7.6 MapReduce编程实践 7.1 概述7.1.1 分布式并行编程7.1.2 MapReduce模型简介7.1.3 Map和Reduce函数 7.1.1 分布式并行编程“摩尔定律”， CPU性能大约每隔18个月翻一番从2023年开始摩尔定律逐渐失效 ，需要处理的数据量迅速增长，人们开始借助于分布式并行编程来提升程序性能 分布式程序运营在大规模计算机集群上，能够并行执行大规模数据处理任务，从而取得海量的计算能力google企业最先提出了分布式并行编程模型MapReduce，Hadoop MapReduce是它的开源实现，后者比前者使用门槛低诸多 7.1.1 分布式并行编程问题：在MapReduce出现之前，已经有像MPI这么非常成熟的并行计算框架了，那么为何Google还需要MapReduce？MapReduce相较于老式的并行计算框架有什么优势？传统并行计算框架MapReduce集群架构/容错性共享式(共享内存/共享存储)，容错性差非共享式，容错性好硬件/价格/扩展性刀片服务器、高速网、SAN，价格贵，扩展性差普通PC机，便宜，扩展性好编程/学习难度what-how，难what，简单适用场景实时、细粒度计算、计算密集型批处理、非实时、数据密集型 7.1.2 MapReduce模型简介MapReduce将复杂的、运营于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce编程轻易，不需要掌握分布式并行编程细节，也能够很轻易把自己的程序运营在分布式系统上，完毕海量数据的计算MapReduce采用“分而治之”策略，一种存储在分布式文件系统中的大规模数据集，会被切提成许多独立的分片（split），这些分片能够被多种Map任务并行处理MapReduce设计的一种理念就是“计算向数据靠拢”，而不是“数据向计算靠拢”，因为，移动数据需要大量的网络传播开销MapReduce框架采用了Master/Slave架构，涉及一种Master和若干个Slave。Master上运营JobTracker，Slave上运营TaskTracker Hadoop框架是用Java实现的，但是，MapReduce应用程序则不一定要用Java来写 7.1.3 Map和Reduce函数函数输入输出说明Mapk1,v1如：行号,”a b c”List(k2,v2)如：“a”,1“b”,1“c”,11.将小数据集进一步解析成一批key,value对，输入Map函数中进行处理2.每一个输入的k1,v1会输出一批k2,v2。k2,v2是计算的中间结果Reducek2,List(v2)如：“a”,1,1,1k3,v3“a”,3输入的中间结果k2,List(v2)中的List(v2)表示是一批属于同一个k2的value 7.2 MapReduce的体系构造MapReduce体系构造主要由四个部分构成，分别是：Client、JobTracker、TaskTracker以及Task 7.2 MapReduce的体系构造MapReduce主要有如下4个部分构成：1）Client顾客编写的MapReduce程序经过Client提交到JobTracker端顾客可经过Client提供的某些接口查看作业运营状态2）JobTrackerJobTracker负责资源监控和作业调度JobTracker 监控全部TaskTracker与Job的健康情况，一旦发觉失败，就将相应的任务转移到其他节点JobTracker 会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器（TaskScheduler），而调度器会在资源出现空闲时，选择合适的任务去使用这些资源 7.2 MapReduce的体系构造3）TaskTrackerTaskTracker 会周期性地经过“心跳”将本节点上资源的使用情况和任务的运营进度报告给JobTracker，同步接受JobTracker 发送过来的命令并执行相应的操作（如开启新任务、杀死任务等）TaskTracker 使用“slot”等量划分本节点上的资源量（CPU、内存等）。一种Task 获取到一种slot 后才有机会运营，而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot 分为Map slot 和Reduce slot 两种，分别供MapTask 和Reduce Task 使用4）TaskTask 分为Map Task 和Reduce Task 两种，均由TaskTracker 开启 7.3 Map