异构Hadoop集群下的比例数据分配策略.PDFVIP

第３２卷第６期　　　 计算机应用与软件 Ｖｏｌ３２Ｎｏ．６ ２０１５年６月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｎ．２０１５ 异构Ｈａｄｏｏｐ集群下的比例数据分配策略 魏文娟　王黎明 （郑州大学信息工程学院　河南郑州４５００５２） 摘　要　　针对异构Ｈａｄｏｏｐ环境下仍采用均等的数据分配方法将严重降低ＭａｐＲｅｄｕｃｅ的性能，提出比例数据分配策略。通过计算 异构集群中各节点的计算比率，将已经分割好的数据块重新进行组合，形成数个按比例划分的数据块。每个节点根据自身性能来选 择所分配和存储的数据块，从而使异构 Ｈａｄｏｏｐ集群中各节点处理数据的时间大致相同，降低节点之间数据的移动量。实验验证了 提出的比例数据分配方法可以有效地提高ＭａｐＲｅｄｕｃｅ的性能，并使数据负载均衡。 关键词　　异构Ｈａｄｏｏｐ集群　ＭａｐＲｅｄｕｃｅ　数据转移　比例数据分配　计算速率 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１５．０６．０７８ ＰＲＯＰＯＲＴＩＯＮＡＬＤＡＴＡＰＬＡＣＥＭＥＮＴＳＴＲＡＴＥＧＹＩＮＨＥＴＥＲＯＧＥＮＥＯＵＳＨＡＤＯＯＰＣＬＵＳＴＥＲＳ ＷｅｉＷｅｎｊｕａｎ　ＷａｎｇＬｉｍｉｎｇ （ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＺｈｅｎｇｚｈｏｕＵｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｇｚｈｏｕ４５００５２，Ｈｅｎａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＷｅｐｒｅｓｅｎｔａｐｒｏｐｏｒｔｉｏｎａｌｄａｔａｐｌａｃｅｍｅｎｔｓｔｒａｔｅｇｙｆｏｒｔｈｅｉｓｓｕｅｔｈａｔｔｏｓｔｉｌｌｕｓｅｅｑｕａｌｄａｔａｐｌａｃｅｍｅｎｔｉｎｈｅｔｅｒｏｇｅｎｅｏｕｓＨａｄｏｏｐ ｅｎｖｉｒｏｎｍｅｎｔｗｉｌｌｓｅｒｉｏｕｓｌｙｄｅｂａｓｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆＭａｐＲｅｄｕｃｅ．Ｂｙｃｏｍｐｕｔｉｎｇｔｈｅｃｏｍｐｕｔａｔｉｏｎｒａｔｅｏｆｅａｃｈｎｏｄｅｉｎｈｅｔｅｒｏｇｅｎｅｏｕｓｃｌｕｓｔｅｒｓ， ｗｅｒｅｃｏｍｂｉｎｅｔｈｅｓｅｇｍｅｎｔｅｄｄａｔａｂｌｏｃｋｔｏｆｏｒｍａｎｕｍｂｅｒｏｆｄａｔａｂｌｏｃｋｓｐｒｏｐｏｒｔｉｏｎａｌｌｙｐａｒｔｉｔｉｏｎｅｄ．Ａｃｃｏｒｄｉｎｇｔｏｉｔｓｏｗｎｃｈａｒａｃｔｅｒｉｓｔｉｃｅａｃｈ ｎｏｄｅｓｅｌｅｃｔｓｔｈｅｄｉｓｔｒｉｂｕｔｅｄａｎｄｓｔｏｒｅｄｄａｔａｂｌｏｃｋ，ｓｏｔｈａｔｅｖｅｒｙｎｏｄｅｉｎｈｅｔｅｒｏｇｅｎｅｏｕｓＨａｄｏｏｐｃｌｕｓｔｅｒｓｐｒｏｃｅｓｓｅｓｄａｔａｉｎｂａｓｉｃａｌｌｙｓａｍｅｔｉｍｅ， ａｎｄｔｈｕｓｔｈｅａｍｏｕｎｔｏｆｄａｔａｔｒａｎｓｆｅｒｂｅｔｗｅｅｎｎｏｄｅｓｉｓｒｅｄｕｃｅｄ．Ｉｔｉｓｖｅｒｉｆｉｅｄｂｙｅｘｐｅｒｉｍｅｎｔｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｐｒｏｐｏｒｔｉｏｎａｌｄａｔａｐｌａｃｅｍｅｎｔｓｔｒａ ｔｅｇｙｃａｎｉｍｐｒｏｖｅＭａｐＲｅｄｕｃｅｐｅｒｆｏｒｍａｎｃｅｅｆｆｅｃｔｉｖｅｌｙａｎｄｍａｋｅｓｔｈｅｄａｔａｌｏａｄｉｎｅｑｕｉｌｉｂｒｉｕｍ． Ｋｅｙｗｏｒｄｓ　　ＨｅｔｅｒｏｇｅｎｅｏｕｓＨａｄｏｏｐｃｌｕｓｔｅｒｓ　ＭａｐＲｅｄｕｃｅ　Ｄａｔａｔｒａｎｓｆｅｒ　Ｐｒｏｐｏｒｔｉｏｎａｌｄａｔａｐｌａｃｅｍｅｎｔ　Ｃｏｍｐｕｔｉｎｇｒａｔｅ 对整个任务的影响。Ｃｈａｏ等人［９］提出了根据ＣＰＵ和Ｉ／Ｏ利用 ０　引　言 率将ＭａｐＲｅｄｕｃｅ工作负载分为三类，设计出三元组队列调度机 制和动态负载预测模型，但忽略了网络资源对作业执行时间的 随着计算机网络的飞速发展，拥有大量用户的互联网服务 影响。Ｘｉｅ等人［１０］提出了一种异构 Ｈａｄｏｏｐ环境下的数据保存