海量数据离散化算法的并行设计与实现-计算机应用与软件.pdfVIP

第３１卷第６期　　　 计算机应用与软件 Ｖｏｌ３１Ｎｏ．６ ２０１４年６月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｎ．２０１４ 海量数据离散化算法的并行设计与实现 张　永　张红蕊　路婧威 （辽宁师范大学计算机与信息技术学院　辽宁大连 １１６０８１） 摘　要　　连续属性的离散化是机器学习和数据挖掘的重要预处理步骤，如何高效处理海量数据连续属性离散化已成为急需要解 决的问题。近年来兴起的Ｈａｄｏｏｐ技术能够有效处理基于海量数据的应用。为此，设计和实现一种基于ＭａｐＲｅｄｕｃｅ编程模型的连续 属性离散化并行算法，并给出算法设计的方法和策略。在保证离散效果的情况下，使用不同大小数据集在不同节点的集群环境下的 实验结果表明，所设计的并行离散化算法具有较高的执行效率和较好的可扩展性，适合用于海量数据的快速离散化处理。 关键词　　海量数据　并行化　连续属性离散化　Ｈａｄｏｏｐ 中图分类号　ＴＰ１８　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１４．０６．００７ ＰＡＲＡＬＬＥＬＤＥＳＩＧＮＯＦＭＡＳＳＩＶＥＤＡＴＡＤＩＳＣＲＥＴＩＳＡＴＩＯＮＡＬＧＯＲＩＴＨＭ ＡＮＤＩＴＳＩＭＰＬＥＭＥＮＴＡＴＩＯＮ ＺｈａｎｇＹｏｎｇ　ＺｈａｎｇＨｏｎｇｒｕｉ　ＬｕＪｉｎｇｗｅｉ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＬｉａｏｎｉｎｇＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｄａｌｉａｎ１１６０８１，Ｌｉａｏｎｉｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｈｅｄｉｓｃｒｅｔｉｓａｔｉｏｎｏｆｃｏｎｔｉｎｕｏｕｓａｔｔｒｉｂｕｔｅｓｉｓａｎｉｍｐｏｒｔａｎｔｐｒｅｐｒｏｃｅｓｓｉｎｇｓｔｅｐｆｏｒｍａｃｈｉｎｅｌｅａｒｎｉｎｇａｎｄｄａｔａｍｉｎｉｎｇ．Ｈｏｗｔｏ ｅｆｆｉｃｉｅｎｔｌｙｐｒｏｃｅｓｓｔｈｅｄｉｓｃｒｅｔｉｓａｔｉｏｎｏｆｃｏｎｔｉｎｕｏｕｓａｔｔｒｉｂｕｔｅｓｏｆｍａｓｓｉｖｅｄａｔａｈａｓｂｅｃｏｍｅａｎｕｒｇｅｎｔｐｒｏｂｌｅｍｔｏｂｅｒｅｓｏｌｖｅｄ．Ｈａｄｏｏｐａｓａｒｉｓｉｎｇ ｔｅｃｈｎｉｑｕｅｉｎｒｅｃｅｎｔｙｅａｒｓｃａｎｅｆｆｉｃｉｅｎｔｌｙｐｒｏｃｅｓｓｍａｎｙａｐｐｌｉｃａｔｉｏｎｓｂａｓｅｄｏｎｍａｓｓｉｖｅｄａｔａ．ＷｅｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａＭａｐＲｅｄｕｃｅｍｏｄｅｌ ｂａｓｅｄｐａｒａｌｌｅｌｄｉｓｃｒｅｔｉｓａｔｉｏｎａｌｇｏｒｉｔｈｍｗｉｔｈｃｏｎｔｉｎｕｏｕｓａｔｔｒｉｂｕｔｅｓ，ａｎｄｐｒｅｓｅｎｔｔｈｅｍｅｔｈｏｄａｎｄｓｔｒａｔｅｇｙｏｆｉｔｓｄｅｓｉｇｎ．Ｏｎｔｈｅｐｒｅｍｉｓｅｏｆ ｇｕａｒａｎｔｅｅｉｎｇｔｈｅｄｉｓｃｒｅｔｉｓａｔｉｏｎｅｆｆｉｃｉｅｎｃｙ，ｅｘｐｅｒｉｍｅｎｔｓｈａｖｅｂｅｅｎｄｏｎｅｂｙｕｓｉｎｇｄｉｆｆｅｒｅｎｔｓｉｚｅｏｆｄａｔａｓｅｔｓｕｎｄｅｒｔｈｅｃｏｎｄｉｔｉｏｎｏｆｃｌｕｓｔｅｒ ｅｎｖｉｒｏｎｍｅｎｔｗｉｔｈｄｉｆｆｅｒｅｎｔｎｏｄｅｓ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｄｅｓｉｇｎｅｄｐａｒａｌｌｅｌｄｉｓｃｒｅｔｉｓａｔｉｏｎａｌｇｏｒｉｔｈｍｈａｓｈｉｇｈｅｒｅｘｅｃｕｔｉｏｎｅｆｆｉｃｉｅｎｃｙａｎｄｇｏｏｄ ｓｃａｌａｂｉｌｉｔｙａｎｄｉｓｓｕｉｔａｂｌｅｔｏｆａｓｔｐｒｏｃｅｓｓｉｎｇｔｈｅｄｉｓｃｒｅｔｉｓａｔｉｏｎｏｆｍａｓｓｉｖｅｄａｔａ． Ｋｅｙｗｏｒｄｓ　　Ｍａｓｓｉｖｅｄａｔａ　Ｐａｒａｌｌｅｌｉｓａｔｉｏｎ　Ｃｏｎｔｉｎｕｏｕｓａｔｔｒｉｂｕｔｅｄｉｓｃｒｅｔｉｓａｔｉｏｎ　Ｈａｄｏｏｐ 了基于熵的离散化标准的切点特性，提出并证明了一种基于边 ０　引　言 界点属性值合并和不一致度检验的离散化算法。但是，这种离