大数据与机器学些第五章.docx

大数据与机器学习

目录

TOC\o1-3\h\z\u第五章YARN介绍 3

1.1YARN背景 3

1.2YARN原理 4

1.2.1YARN组件 4

1.2.2HDFS与YARN架构关系 5

1.2.3YARN流程 5

第五章YARN介绍

YARN背景

YARN（YetAnotherResourceNegotiator另一种资源协调者）是Hadoop的资源管理器。

作用：为上层不同计算框架（流处理、批处理、实时处理、内存处理、交互式、图处理、高性能计算-消息接口）共享HDFS数据，以及提供资源分配和资源调度。见下图：

YARN的好处：提高集群资源的利用率

YARN原理

YARN组件

ResourceManager:唯一的全局的资源分配与调度。

客户端任务处理：

处理Map或Reduce的Job任务请求

为每个NodeManager启动建立ApplicationMaster，以执行任务

NodeManager资源处理：

监控NodeManager的状态，一旦崩溃告知NM上的AM

为每个NodeManager分配资源

NodeManager:负责各自节点的资源管理

RM资源报告：ResourceManager定时报告节点资源

本节点

任务执行：执行ApplicationMaster的Map或Reduce任务

资源执行：执行ResourceM的资源分配，为节点建立container资源池（CPU 核、内存、带宽）

ApplicationMaster:由RM指定生成，负责为对应的一个应用程序向RM申请资源并分配给内部task

任务：接收RM的MR任务，并传给NM

资源：向RM申请资源，内部任务分配

数据切分

Container:封装了某节点的资源（cpu核、内存、带宽、磁盘、网络）

Client：提交任务、查询任务、杀死任务

JobHistoryServer：负责任务的进度与元数据管理

Job：输入数据与MR的任务和信息配置。

Task：具体执行Map或Reduce的单元，在NodeManager的container中运行

HDFS与YARN架构关系

NodeManager与DataNode在同一节点上，负责该节点的资源分配与调度

HDFS与YARN都是主从结构，都元数据管理。HDFS是SecondaryNameNode,YARN是JobHistoryServe

YARN流程

先有任务再有资源，因为任务请求后才出发资源分配。