大数据技术原理与应用 第九章 Hadoop架构再探讨.pptVIP

15.3 新一代资源管理调度框架YARN 15.3.1 MapReduce1.0的缺陷 15.3.2 YARN设计思路 15.3.3 YARN体系结构 15.3.4 YARN工作流程 15.3.5YARN框架与MapReduce1.0框架的对比分析 15.3.6 YARN的发展目标 15.3.1 MapReduce1.0的缺陷 图15-4 MapReduce1.0体系结构 （1）存在单点故障 （2）JobTracker“大包大揽”导致任务过重（任务多时内存开销大，上限4000节点） （3）容易出现内存溢出（分配资源只考虑MapReduce任务数，不考虑CPU、内存） （4）资源划分不合理（强制划分为slot ，包括Map slot和Reduce slot） 15.3.2 YARN设计思路 MapReduce1.0既是一个计算框架，也是一个资源管理调度框架 到了Hadoop2.0以后，MapReduce1.0中的资源管理调度功能，被单独分离出来形成了YARN，它是一个纯粹的资源管理调度框架，而不是一个计算框架 被剥离了资源管理调度功能的MapReduce 框架就变成了MapReduce2.0，它是运行在YARN之上的一个纯粹的计算框架，不再自己负责资源调度管理服务，而是由YARN为其提供资源管理调度服务 15.3.3 YARN体系结构 ResourceManager 处理客户端请求 启动/监控ApplicationMaster 监控NodeManager 资源分配与调度 NodeManager 单个节点上的资源管理 处理来自ResourceManger的命令 处理来自ApplicationMaster的命令 ApplicationMaster 为应用程序申请资源，并分配给内部任务 任务调度、监控与容错 15.3.3 YARN体系结构 ResourceManager（RM）是一个全局的资源管理器，负责整个系统的资源管理和分配，主要包括两个组件，即调度器（Scheduler）和应用程序管理器（Applications Manager） 调度器接收来自ApplicationMaster的应用程序资源请求，把集群中的资源以“容器”的形式分配给提出申请的应用程序，容器的选择通常会考虑应用程序所要处理的数据的位置，进行就近选择，从而实现“计算向数据靠拢” 容器（Container）作为动态资源分配单位，每个容器中都封装了一定数量的CPU、内存、磁盘等资源，从而限定每个应用程序可以使用的资源量 调度器被设计成是一个可插拔的组件，YARN不仅自身提供了许多种直接可用的调度器，也允许用户根据自己的需求重新设计调度器 应用程序管理器（Applications Manager）负责系统中所有应用程序的管理工作，主要包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动等 ResourceManager 15.3.3 YARN体系结构 ApplicationMaster ResourceManager接收用户提交的作业，按照作业的上下文信息以及从NodeManager收集来的容器状态信息，启动调度过程，为用户作业启动一个ApplicationMaster ApplicationMaster的主要功能是： （1）当用户作业提交时，ApplicationMaster与ResourceManager协商获取资源，ResourceManager会以容器的形式为ApplicationMaster分配资源； （2）把获得的资源进一步分配给内部的各个任务（Map任务或Reduce任务），实现资源的“二次分配”； （3）与NodeManager保持交互通信进行应用程序的启动、运行、监控和停止，监控申请到的资源的使用情况，对所有任务的执行进度和状态进行监控，并在任务发生失败时执行失败恢复（即重新申请资源重启任务）； （4）定时向ResourceManager发送“心跳”消息，报告资源的使用情况和应用的进度信息； （5）当作业完成时，ApplicationMaster向ResourceManager注销容器，执行周期完成。 15.3.3 YARN体系结构 NodeManager NodeManager是驻留在一个YARN集群中的每个节点上的代理，主要负责： 容器生命周期管理 监控每个容器的资源（CPU、内存等）使用情况 跟踪节点健康状况 以“心跳”的方式与ResourceManager保持通信 向ResourceManager汇报作业的资源使用情况和每个容器的运行状态 接收来自ApplicationMaster的启动/停止容器的各种请求 需要说明的是，NodeManager主要负责管理