Hadoop之Yarn资源调度操作指南.pdfVIP

1第一章Yarn资源调度框架

1.1Hadoop1.x架构

在Hadoop1.x版本中只有HDFS和MapReduce两个组件组成，其中HDFS是分布式文件系统，

MapReduce是计算框架。MapReduce1.x架构如下：

MapReduce1.x架构是Master/Slave架构，有全局唯一的JobTracker（Master）与多个

TaskTracker（Slave），两个角色作用如下：

JobTracker

JobTracker全局唯一，集群启动就会创建，其负责资源管理、作业调度、作业监控、重新调度作业

等，JobTracker会将Client提交的任务分发到各个TaskTracker上执行，并会监控各个

TaskTracker，当TaskTracker宕机后，JobTracker会将当前TaskTracker上运行的任务转移到其他

节点上运行。

TaskTracker

TaskTracker负责运行由JobTracker调度的Task任务，并周期性向JobTracker汇报自身运行情况和

作业执行情况。

在MapReduce1.x架构中，Client会将MapReduce程序提交给JobTracker，由JobTracker进行调

度运行task，将对应的task优先发送到数据所在节点上执行。**在这个过程中JobTracker既负责资源

管理也要负责任务调度，导致JobTracker压力大，并且JobTracker只有一个节点，存在单点故障问

题，当出现故障时导致整个MapReduce运行不了，此外由于MapReduce1.x架构中JobTracker耦合

了资源管理和任务调度，所以导致其他的大数据计算框架无法使用JobTracker进行资源调度管理，

通用性差。**为了解决以上问题，Hadoop2.x版本后引入了Yarn资源管理系统。

1.2Yarn资源管理平台

ApacheHadoopYarn(YetAnotherReasourceNegotiator，另一种资源协调者)是Hadoop2.x版

本后使用的资源管理器，可以为上层应用提供统一的资源管理平台,Yarn主要由

ResourceManager、NodeManager、ApplicationMaster、Container组成。架构如下下图所

示：

ResourceManager

ResourceManager是Yarn集群中的中央管理器，负责整个集群的资源分配与调度。

ResourceManager负责监控NodeManager节点状态、汇集集群资源，处理Client提交任务的资源

请求，为每个Application启动AppliationMaster并监控。

NodeManager

NodeManager负责管理每个节点上的资源（如：内存、CPU等）并向ResourceManager报告。当

ResourceManager向NodeManager分配一个容器（Container）时，NodeManager负责启动该

容器并监控容器运行，此外，NodeManager还会接收AplicationMaster命令为每个Application启

动容器（Container）。

ApplicationMaster

每个运行在Yarn中的应用程序都会启动一个对应的ApplicationMaster，其负责与

ResourceManager申请资源及管理应用程序任务。ApplicationMaster本质上也是一个容器，由

ResourceManager进行资源调度并由NodeManager启动，ApplicationMaster启动后会向

ResourceManager申请资源运行应用程序，ResourceManager分配容器资源后，

ApplicationMaster会连接对应NodeManager通知启动Container并管理运行在Container上的任

务。

Container

Container容器是Yarn中的基本执行单元，用于运行应用程序的任务，它是一个虚拟环境，包含应

用程序代码、依赖项及运行所需资源（内存、CPU、磁盘、网络）。每个容器都由

ResourceManager分配给ApplicationMaster，并由NodeManager在相应的节点上启动和管理。

容器的资源使用情况由NodeManager监控，并在必要时向ResourceManager报告。

Yarn核心就是将MR1中JobTracker的资源管理和任务调度两个功能分开，分别由

ResourceMa