Hadoop ap Reduce 教程.docVIP

Hadoop Map/Reduce教程 目的 先决条件 概述 输入与输出 例子：WordCount v1.0 源代码 用法 解释 Map/Reduce - 用户界面 核心功能描述 Mapper Reducer Partitioner Reporter OutputCollector 作业配置 任务的执行和环境 作业的提交与监控 作业的控制 作业的输入 InputSplit RecordReader 作业的输出 任务的Side-Effect File RecordWriter 其他有用的特性 Counters DistributedCache Tool IsolationRunner Profiling 调试 JobControl 数据压缩 例子：WordCount v2.0 源代码 运行样例 程序要点 目的 这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。 先决条件 请先确认Hadoop被正确安装、配置和正常运行中。更多信息见： Hadoop快速入门对初次使用者。 Hadoop集群搭建对大规模分布式集群。 概述 Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。 整个框架负责任务的调度和监控，以及重新执行已经失败的任务。 通常，Map/Reduce框架和分布式文件系统是运行在一组相同的节点上的，也就是说，计算节点和存储节点通常在一起。这种配置允许框架在那些已经存好数据的节点上高效地调度任务，这可以使整个集群的网络带宽被非常高效地利用。 Map/Reduce框架由一个单独的master JobTracker 和每个集群节点一个slave TaskTracker共同组成。master负责调度构成一个作业的所有任务，这些任务分布在不同的slave上，master监控它们的执行，重新执行已经失败的任务。而slave仅负责执行由master指派的任务。 应用程序至少应该指明输入/输出的位置（路径），并通过实现合适的接口或抽象类提供map和reduce函数。再加上其他作业的参数，就构成了作业配置（job configuration）。然后，Hadoop的 job client提交作业（jar包/可执行程序等）和配置信息给JobTracker，后者负责分发这些软件和配置信息给slave、调度任务并监控它们的执行，同时提供状态和诊断信息给job-client。 虽然Hadoop框架是用JavaTM实现的，但Map/Reduce应用程序则不一定要用 Java来写 。 Hadoop Streaming是一种运行作业的实用工具，它允许用户创建和运行任何可执行程序 （例如：Shell工具）来做为mapper和reducer。 Hadoop Pipes是一个与SWIG兼容的C++ API （没有基于JNITM技术），它也可用于实现Map/Reduce应用程序。 输入与输出 Map/Reduce框架运转在key, value 键值对上，也就是说， 框架把作业的输入看为是一组key, value 键值对，同样也产出一组 key, value 键值对做为作业的输出，这两组键值对的类型可能不同。 框架需要对key和value的类(classes)进行序列化操作， 因此，这些类需要实现 Writable接口。 另外，为了方便框架执行排序操作，key类必须实现 WritableComparable接口。 一个Map/Reduce 作业的输入和输出类型如下所示： (input) k1, v1 - map - k2, v2 - combine - k2, v2 - reduce - k3, v3 (output) 例子：WordCount v1.0 在深入细节之前，让我们先看一个Map/Reduce的应用示例，以便对它们的工作方式有一个初步的认识。 WordCount是一个简单的应用，它可以计算出指定数据集中每一个单词出现的次数。 这个应用适用于 单机模式， 伪分布式模式 或 完全分布式模式 三种Hadoop安装方式。 源代码 WordCount.java 1. package org.myorg; 2. 3. import java.io.IOExceptio