“云计算（第三版）”配套之18：第5章Hadoop2.0主流开源云架构（四）.pptxVIP

5.4 Hadoop 2.0体系架构 5.4.1 Hadoop 2.0公共组件Common 5.4.2 分布式文件系统HDFS 5.4.3 分布式操作系统Yarn 5.4.4 Hadoop 2.0安全机制简介 3 5.4 Hadoop 2.0体系架构 定位 管理计算机资源 提供用户接口 一方面管理整个集群的计算资源（CPU、内存等） 另一方面提供用户程序访问系统资源的API。 分布式操作系统 的基本功能： Yarn 4 5.4 Hadoop 2.0体系架构 体系架构 Yarn的主要思想是将MRv1版JobTracker的两大功能——资源管理和任务调度，拆分成两个独立的进程： 资源管理模块 全局资源管理进程ResourceManager 任务管理模块 任务管理进程ApplicationMaster Yarn依旧是master/slave结构 主进程ResourceManager是整个集群资源仲裁中心 从进程NodeManager管理本机资源 ResourceManager和从属节点的进程NodeManager组成了Hadoop 2.0的分布式数据计算框架 5 5.4 Hadoop 2.0体系架构 体系架构 6 Yarn在执行时包含以下独立实体： ① Client：客户端，负责向集群提交作业。 ② ResourceManager：集群主进程，仲裁中心，负责集群资源管理和任务调度。 ③ Scheduler：资源仲裁模块。 ④ ApplicationManager：选定，启动和监管ApplicationMaster。 ⑤ NodeManager：集群从进程，管理监视Containers，执行具体任务。 ⑥ Container：本机资源集合体，如某Container为4个CPU，8GB内存。 ⑦ ApplicationMaster：任务执行和监管中心。 5.4 Hadoop 2.0体系架构 体系架构 Client Client 8 5.4 Hadoop 2.0体系架构 体系架构 作业提交 任务分配 任务执行 任务完成 进度和 状态更新 ApplicationMaster失败 ApplicationManager会重新选择一个Container再次执行此任务对应的ApplicationMaster 计算节点失败 ApplicationMaster首先向Scheduler申请资源，接着根据申请到的资源重新分配失败节点上的任务 任务失败 or 9 5.4 Hadoop 2.0体系架构 体系架构 从Yarn架构和Yarn任务执行过程能看出Yarn具有巨大优势： Yarn的设计大大减轻了ResourceManager的资源消耗，并且ApplicationMaster可分布于集群中任意一台机器，设计上更加优美。 Scheduler ApplicationMaster 纯粹的资源仲裁中心 ApplicationManager 只监管ApplicationMaster 负责任务整体执行 10 WebAppServer Proxy Resource Manger Job HistoryServer NodeManager NodeManager NodeManager 5.4 Hadoop 2.0体系架构 体系架构 Yarn典型拓扑 除了ResourceManager和NodeManager两个实体外，Yarn还包括WebAppProxyServer和JobHistoryServer两个实体。 11 5.4 Hadoop 2.0体系架构 体系架构 JobHistoryServer 管理已完成的Yarn任务 WebAppProxyServer 任务执行时的Web页面代理 历史任务的日志和执行时的各种统计信息统一由JobTracker管理 Yarn将管理历史任务的功能抽象成一独立实体JobHistoryServer 通过使用代理，不仅进一步降低了ResourceManager的压力，还能降低Yarn受到的Web攻击 负责监管具体MapReduce任务执行全过程，将从Container那里收集过的任务执行信息汇总并显示到一个Web界面上 12 5.4 Hadoop 2.0体系架构 编程模板 ApplicationMaster 是一个可变更的部分，只要实现不同的ApplicationMaster，就可以实现不同的编程模式 MapReduce模板 MapReduce类型的ApplicationMaster distributedshell模板 distributedshell类型的ApplicationMaster 示例模板 MapReduce模板 Yarn的示例编程为“distributedshell”，该程序可以将给定的shell命令分布到机器执行