基于位置感知和负载均衡MapReduce的Join算法优化2.pptVIP

Part 1 Part 1 Part 2 Part 3 Part 4 * Part 2 Part 1 Part 2 Part 3 Part 4 * Part 3 Part 1 Part 2 Part 3 Part 4 * Part 4 Part 1 Part 2 Part 3 Part 4 * Part 5 基于位置感知和负载均衡 MapReduce的Join算法优化 汇报人：黄梓铭 厦大数据库实验室 2015-3-7 目录页 CONTENTS PAGE P1.Reduce-side Join P2.已有的研究方法 P3.我的创新点 P4.总结 Reduce-side Join Reduce-side Join 表A 表B 以id为key连接 Mapreduce的Join过程 Ｈａｄｏｏｐ现有的划分方法以组为单位进行划分，具有相同键的所有记录被分配到同一个Ｒｅｄｕｃｅｒ进行处理．这种划分方法没有考虑每个组内包含的记录数目。比如partition函数是通过hash函数来觉决定分区结果。如果是数据均衡情况下，分区效果还是很理想的。但是在数据倾斜的情况下，就会出现一些较大key值被分配到同一个Reducer上照成负载的不均衡。比如下面这个例子。 所以我们主要就是要通过设计新的partition函数来替换掉已有的hash函数，已解决负载不均衡的问题。接下来我们看看已有的研究成果。 已有研究方法 基于动态划分的负载均衡方法 论文《一种基于动态划分的MapReduce负载均衡方法》提出一种基于动态划分的方法 基于动态划分的负载均衡方法 论文《LEEN LocalityFairness- Aware Key Partitioning for MapReduce in the Cloud》 从图中可以看到样本信息包含５个组，每组的记录数分别为20,18,10,9,3，根据算,法１，我们可以得到Ｒｅｄｕｃｅｒ０分配到的样本组为０，20，Ｒｅｄｕｃｅｒ１,分配到的样本组有２个，分别为1,18和4,3，Ｒｅｄｕｃｅｒ２分配到的样本组为2,10和5,9．每个Ｒｅｄｕｃｅｒ处理的记录总数分别为２０，２１和１９，负载非常均衡． LEEN算法 论文《LEEN LocalityFairness- Aware Key Partitioning for MapReduce in the Cloud 》 该算法是对于每一个key通过一个最优化的方法将其分配到最合适的分块，从而达到reducer的负载均衡。不仅考虑了locality并且解决了数据倾斜（fairness）的问题，即它寻求的是一种(fairness/locality)的最小值 LEEN算法 论文《LEEN LocalityFairness- Aware Key Partitioning for MapReduce in the Cloud 》 74 44% 74 50% 77 46% 谢谢指导！ Part 1 Part 1 Part 2 Part 3 Part 4 * Part 2 Part 1 Part 2 Part 3 Part 4 * Part 3 Part 1 Part 2 Part 3 Part 4 * Part 4 Part 1 Part 2 Part 3 Part 4 * Part 5