大数据专题技术型公开课.PDFVIP

大数据专题技术型公开课 第1讲分布式并行编程框架MapReduce 林子雨 博士/助理教授 厦门大学计算机科学系 厦门大学云计算与大数据研究中心 E-mail: ziyulin@ 主页：/linziyu 《分布式并行编程框架厦门大学云计算与大数据研究中心MapReduce》 厦门大学云计算与大数据研究中心 林子雨2015年版ziyulin@ 提纲 • 7.1 概述 • 7.2 MapReduce工作流程 • 7.3 实例分析：WordCount • 7.4 MapReduce编程实践 本PPT是如下教材的配套讲义： 21世纪高等教育计算机规划教材 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 （2015年6月第1版） 厦门大学林子雨编著，人民邮电出版社 ISBN:978-7-115-39287-9 欢迎访问 《大数据技术原理与应用》教材官方网站： /post/bigdata 《分布式并行编程框架MapReduce》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 7.1 概述 • 7.1.1 分布式并行编程 • 7.1.2 MapReduce模型简介 • 7.1.3 Map和Reduce函数 《分布式并行编程框架MapReduce》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 7.1.1分布式并行编程 • “摩尔定律”，大约每隔18个月性能翻一番 •从2005年开始摩尔定律逐渐失效，人们开始借助于分布式并行编程 来提高程序性能 •分布式程序运行在大规模计算机集群上，集群中包括大量廉价服务器 ，可以并行执行大规模数据处理任务，从而获得海量的计算能力 •谷歌公司最先提出了分布式并行编程模型MapReduce，Hadoop MapReduce是它的开源实现 《分布式并行编程框架MapReduce》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 7.1.2MapReduce模型简介 •MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽 象到了两个函数：Map和Reduce •在MapReduce中，一个存储在分布式文件系统中的大规模数据集，会 被切分成许多独立的小数据块，这些小数据块可以被多个Map任务并行 处理 •MapReduce框架会为每个Map任务输入一个数据子集，Map任务生成 的结果会继续作为Reduce任务的输入，最终由Reduce任务输出最后结 果，并写入到分布式文件系统中 •MapReduce设计的一个理念就是“计算向数据靠拢”，而不是“数据 向计算靠拢”，因为，移动数据需要大量的网络传输开销 •MapReduce框架采用了Master/Slave架构，包括一个Master和若干个 Slave 。Master上运行JobTracker，Slave上运行TaskTracker •Hadoop框架是用Java实现的，但是，MapReduce应用程序则不一定 要用Java来写 《分布式并行编程框架MapReduce》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 7.1.3Map和Reduce函数 表7-1 Map和Reduce