- 1、本文档共4页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计
第 44 卷第6A 期 Vo l. 44 No. 6A
计算机科学
2017 年 6 月 CO岛1PUTER SCIENCE June 2017
Hadoop 集群环境下集成抢占式调度策略的本地性调度算法设计
王越峰王溪波
(沈阳工业大学信息科学与工程学院 沈阳 110870)
摘 要 在 Hadoop 集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提
高数据本地性,减少网络传输开销,避免阻塞。但是由于 Map 任务的完成时间不同,Reduce 任务存在的等待现象影响
了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地
性要求的基础上集成可抢占式的调度方法。在 Reduce 任务等待时,挂起该任务并释放资源给其他Map 任务,当 Map
任务完成到一定程度后,重新调度Reduce 任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改
进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结采表明,在相同数据
上,集成抢占式本地性调度算法的平均完成时间有明显的降低。
关键词 数据本地性,抢占式,作业平均完成时间
中图法分类号 TP316.4 文献标识码 A
Design of Local Scheduling Algorithm for Integrated Preemptive Scheduling Policy
in Hadoop Cluster Environment
WANG Yue-feng WANG Xi-bo
(School of Information Science and Engineering ,Shenyang University of Technology ,Shenyang 110870 ,China)
Abstract Local scheduling algorithm is an algorithm to improve data locality in Hadoop cluster environment. The na
ture of the scheduling strategy of the local scheduling algorithm is to improve the data locality ,reduce network trans
mission and avoid congestio几 However, due to the different completion time of the Map task ,the waiting phenomenon
of Reduce task affects the completion average time of the job ,the completion time of the job is increased ,and then the
performance parameters of the system are not good. In this thesis ,we proposed to integrate the preemptive scheduling
based on the local requirement of the original algorithm. When the Reduce task waits ,the task is
您可能关注的文档
- Dokumentációminta.doc
- DYKWF300-D电源单元.PDF
- DSP解决方案技术架构指南.PDF
- EDGEEVOSoloESHR40-L联网控制器读卡器-HIDGlobal.PDF
- EqualLogicPS6100系列.PDF
- Exam2–Summer2010–Fin3320–Version1.doc
- eYou大容量邮件系统技术白皮书.doc
- FUJITSUPRIMERGYRX350S74U机架式服务器.PDF
- FUJITSUETERNUSDX80S2磁盘存储系统-FujitsuGlobal.PDF
- Gateway笔记本电脑服务政策(适用于2009年10月1日(含)之后.PDF
- 陕西省华阴市中考数学过关检测试卷附完整答案详解(历年真题).docx
- 陕西省兴平市中考数学通关题库附答案详解(达标题).docx
- 陕西省华阴市中考数学重难点含答案详解【精练】.docx
- 陕西省兴平市中考数学考试综合练习含答案详解(预热题).docx
- 陕西省兴平市中考数学综合提升测试卷【考点精练】附答案详解.docx
- 陕西省兴平市中考数学考前冲刺测试卷及完整答案详解【名校卷】.docx
- 达标测试人教版7年级数学上册期末试卷及参考答案详解【综合卷】.docx
- 陕西省兴平市中考数学试题【完整版】附答案详解.docx
- 计算机组成与基本工作原理.ppt
- 达标测试人教版7年级数学上册期中测试卷及完整答案详解(全国通用).docx
最近下载
- 《中华人民共和国职业病防治法》培训解读课件.pptx VIP
- 一种滚筒喷涂机.pdf VIP
- 现浇拱桥施工工艺工法(后附图片).doc
- Panasonic 松下 【蒸烤箱】NU-SC211W使用说明书.pdf
- 2025届河北省邯郸市高三保温考试化学含答案.docx VIP
- 2025年广州市中考填报志愿讲座 课件.pptx
- 2022-2023学年上海市重点中学八年级(下)期末英语试卷(含解析).pdf VIP
- DZ_T 0222-2006地质灾害防治工程监理规范.pdf
- 15《青春之光》第二课时(课件)统编版语文七年级下册.pptx VIP
- AI算力弹性调度平台行业发展规模预测与投资潜力研究报告.docx
文档评论(0)