HadoopYARN大数据计算框架及其资源调度机制研究方案.PDFVIP

Broad Angle for Technology 技术广角 Hadoop YARN大数据计算框架及其资源 调度机制研究 董春涛 李文婷 沈晴霓 吴中海 北京大学 北京 100086 摘　要 Hadoop 2.0提出一种新的资源管理系统YARN，它可以支持多种大数据计算框架(如MapReduce、Storm、 Spark等)，目前已经成为腾讯、阿里等互联网公司部署大数据平台采用的主流计算框架。为此，文章在分析Hadoop YARN计算框架的基本结构和工作流程的基础上，重点研究Hadoop YARN中的资源调度机制，包括其资源调度器的模 型与机制，及其目前已经实现的容量调度器(Capacity Scheduler)和公平调度器(Fair Scheduler)的设计思想、工作原 理和脆弱性，并探讨其下一代欧米伽调度器(Omega Scheduler)的主要设计思想。 关键词 大数据；YARN计算框架；资源管理器；容量调度器；公平调度器；欧米伽调度器；拒绝服务攻击 多的成功应用案例 ，并获得业界的广泛支持和肯定。 引言 但随着分布式系统集群的规模和其工作负荷的增长 特 ， 别是支持其他实时计算框架的需求越来越多 包括内存 大数据技术 目前已成为学术界和产业界的研究热 ， 点。Google公司提出的GFS(Google File System) 、 计算框架(Spark)、流式计算框架(Storm)、迭代式计算 MapReduce 、BigTable[ 1-3] 等技术成为了大数据技术 框架(iMapReduce)等新型计算框架的出现，MRv 1计算 框架的局限性日益突出 主要包括扩展性差 资源利用 发展的重要基础 ，而A pac he软件基金会基于这些技 ， 、 [5] [4] 率低 存在单点故障 计算框架单一等问题 。为此， 术推出的开源项 目Hadoop 成为大数据技术发展和应 、 、 用的标志性成果 许多互联网公司(如Yahoo IBM Hadoop 2.0提出一种新的资源管理系统YARN[6-7] (也被 ， 、 、 百度、Face boo k等) 的大数据平台都是以Hadoo p 为 称为MRv2) ，一个多种计算框架通用的资源调度体系， 为不同的并行化计算提供资源分配服务 这样 YA RN 主，它们或自建Hadoop集群、或使用Amazon Elastic 。 ， 支持的计算框架只要实现YA RN定义的接口 便可以运 MapReduce服务 ， 。 在Hadoo p 1.0 版本 中，Ma p Red uce (也被称为 行在YA RN之上，从而很好地打造一个以YA RN为核心 MRv 1)分布式处理框架是Hadoop 中的唯一计算框架 的生态系统。由于YA RN具有灵活且支持多计算框架的