- 1、本文档共4页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计
第 44 卷第6A 期 Vo l. 44 No. 6A
计算机科学
2017 年 6 月 CO岛1PUTER SCIENCE June 2017
Hadoop 集群环境下集成抢占式调度策略的本地性调度算法设计
王越峰王溪波
(沈阳工业大学信息科学与工程学院 沈阳 110870)
摘 要 在 Hadoop 集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提
高数据本地性,减少网络传输开销,避免阻塞。但是由于 Map 任务的完成时间不同,Reduce 任务存在的等待现象影响
了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地
性要求的基础上集成可抢占式的调度方法。在 Reduce 任务等待时,挂起该任务并释放资源给其他Map 任务,当 Map
任务完成到一定程度后,重新调度Reduce 任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改
进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结采表明,在相同数据
上,集成抢占式本地性调度算法的平均完成时间有明显的降低。
关键词 数据本地性,抢占式,作业平均完成时间
中图法分类号 TP316.4 文献标识码 A
Design of Local Scheduling Algorithm for Integrated Preemptive Scheduling Policy
in Hadoop Cluster Environment
WANG Yue-feng WANG Xi-bo
(School of Information Science and Engineering ,Shenyang University of Technology ,Shenyang 110870 ,China)
Abstract Local scheduling algorithm is an algorithm to improve data locality in Hadoop cluster environment. The na
ture of the scheduling strategy of the local scheduling algorithm is to improve the data locality ,reduce network trans
mission and avoid congestio几 However, due to the different completion time of the Map task ,the waiting phenomenon
of Reduce task affects the completion average time of the job ,the completion time of the job is increased ,and then the
performance parameters of the system are not good. In this thesis ,we proposed to integrate the preemptive scheduling
based on the local requirement of the original algorithm. When the Reduce task waits ,the task is
您可能关注的文档
- Dokumentációminta.doc
- DYKWF300-D电源单元.PDF
- DSP解决方案技术架构指南.PDF
- EDGEEVOSoloESHR40-L联网控制器读卡器-HIDGlobal.PDF
- EqualLogicPS6100系列.PDF
- Exam2–Summer2010–Fin3320–Version1.doc
- eYou大容量邮件系统技术白皮书.doc
- FUJITSUPRIMERGYRX350S74U机架式服务器.PDF
- FUJITSUETERNUSDX80S2磁盘存储系统-FujitsuGlobal.PDF
- Gateway笔记本电脑服务政策(适用于2009年10月1日(含)之后.PDF
- 2025届湖北省武汉市新洲区中考历史最后一模试卷含解析.doc
- 辽宁省丹东市第十四中学2025届中考冲刺卷生物试题含解析.doc
- 方兴大道承台砼施工技术交底.docx
- 江苏省扬州市田家炳实验中学2025届中考历史全真模拟试卷含解析.doc
- 2025届黑龙江省杜尔伯特县中考二模化学试题含解析.doc
- 海南省海口九中学海甸分校2025届中考生物模拟试卷含解析.doc
- 江苏省春城中学2025届中考生物全真模拟试卷含解析.doc
- 广东省广州市番禺区广博校2025届中考猜题历史试卷含解析.doc
- 安徽省合肥市重点中学2025届中考四模历史试题含解析.doc
- 河北省衡水市故城县2025届中考生物押题试卷含解析.doc
文档评论(0)