Apache Hadoop：Hadoop资源管理器YARN详解.docxVIP

PAGE1

PAGE1

ApacheHadoop：Hadoop资源管理器YARN详解

1ApacheHadoop:Hadoop资源管理器YARN详解

1.1YARN简介

1.1.11YARN的历史与演进

YARN，全称为YetAnotherResourceNegotiator，是ApacheHadoop项目中的一个子项目，旨在提供一个通用的资源管理框架。在Hadoop1.0中，MapReduce框架不仅负责作业的调度和执行，还承担了集群资源管理的任务。这种设计在资源利用率和系统扩展性上存在局限。为了解决这些问题，Hadoop2.0引入了YARN，将资源管理和作业调度/执行分离，使得Hadoop集群能够支持多种计算框架，而不仅仅是MapReduce。

1.1.22YARN的架构与组件

YARN的架构主要由以下几个组件构成：

ResourceManager(RM):集群资源管理器，负责整个集群的资源管理和调度。它接收来自ApplicationMaster的资源请求，并分配资源。

NodeManager(NM):节点资源管理器，运行在每个节点上，负责管理该节点上的资源（如CPU、内存）和容器(Container)的生命周期。

ApplicationMaster(AM):每个应用程序的管理器，负责向ResourceManager申请资源，并与NodeManager协同工作来执行和监控任务。

ResourceManager(RM)

ResourceManager是YARN的核心组件，它运行在Hadoop集群的主节点上。ResourceManager主要包含两个组件：Scheduler和ApplicationManager。

Scheduler:负责将集群的资源分配给运行中的应用程序。它根据资源的可用性和应用程序的需求进行调度。

ApplicationManager:负责接收来自客户端的作业提交请求，为每个作业启动ApplicationMaster，并监控其生命周期。

NodeManager(NM)

NodeManager运行在集群的每个节点上，负责管理该节点上的资源。它与ResourceManager通信，报告节点的资源使用情况，并接收来自ApplicationMaster的命令，如启动或停止容器。

ApplicationMaster(AM)

ApplicationMaster是每个应用程序的管理器，它负责与ResourceManager协商资源，并与NodeManager协同工作来执行和监控任务。对于MapReduce作业，ApplicationMaster还负责管理Map和Reduce任务的执行。

1.1.33YARN的工作原理

YARN的工作流程可以概括为以下几个步骤：

客户端提交作业:客户端将应用程序提交给ResourceManager，包括应用程序的JAR文件、配置文件和应用程序主类。

ApplicationManager启动ApplicationMaster:ResourceManager的ApplicationManager接收作业提交请求，为应用程序启动一个ApplicationMaster，并为其分配第一个容器。

ApplicationMaster请求资源:ApplicationMaster向ResourceManager的Scheduler请求资源，以执行应用程序的任务。

ResourceManager分配资源:ResourceManager根据资源的可用性和应用程序的需求，将资源分配给ApplicationMaster。

NodeManager启动容器:ApplicationMaster与NodeManager通信，命令其在分配的资源上启动容器，执行任务。

任务执行与监控:NodeManager监控容器的执行，并向ApplicationMaster报告任务的状态和进度。

ApplicationMaster监控任务:ApplicationMaster监控所有任务的执行状态，确保任务的正确执行，并在任务失败时重新调度任务。

作业完成:当所有任务完成后，ApplicationMaster向ResourceManager报告作业完成，并请求关闭。

示例：提交一个MapReduce作业到YARN

#使用Hadoop命令提交MapReduce作业

hadoopjarmyjob.jarcom.mycompany.MyJob\

-input/path/to/input\

-output/path/to/output\

-classpath/path/to/extra/jars

在这个示例中，myjob.jar是包含M