基于Hadoop二阶段并行模糊c-Means聚类算法-计算机应用与软件.PDF

第３３卷第６期　　　 计算机应用与软件 Ｖｏｌ３３Ｎｏ．６ ２０１６年６月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊｕｎ．２０１６ 基于Ｈａｄｏｏｐ二阶段并行模糊ｃＭｅａｎｓ聚类算法 胡吉朝　黄红艳 （石家庄经济学院信息工程学院　河北石家庄０５００３１） 摘　要　　针对Ｍａｐｒｅｄｕｃｅ机制下算法通信时间占用比过高，实际应用价值受限的情况，提出基于Ｈａｄｏｏｐ二阶段并行ｃＭｅａｎｓ聚类 算法用来解决超大数据的分类问题。首先，改进Ｍａｐｒｅｄｕｃｅ机制下的ＭＰＩ通信管理方法，采用成员管理协议方式实现成员管理与 Ｍａｐｒｅｄｕｃｅ降低操作的同步化；其次，实行典型个体组降低操作代替全局个体降低操作，并定义二阶段缓冲算法；最后，通过第一阶段 的缓冲进一步降低第二阶段Ｍａｐｒｅｄｕｃｅ操作的数据量，尽可能降低大数据带来的对算法负面影响。在此基础上，利用人造大数据测 试集和ＫＤＤＣＵＰ９９入侵测试集进行仿真，实验结果表明，该算法既能保证聚类精度要求又可有效加快算法运行效率。 关键词　　二阶段　模糊ｃＭｅａｎｓ　大数据　聚类　并行　入侵检测 中图分类号　ＴＰ３１２　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１６．０６．０６７ ＨＡＤＯＯＰＢＡＳＥＤＴＷＯＳＴＡＧＥＰＡＲＡＬＬＥＬＦＵＺＺＹＣＭＥＡＮＳＣＬＵＳＴＥＲＩＮＧＡＬＧＯＲＩＴＨＭ ＨｕＪｉｃｈａｏ　ＨｕａｎｇＨｏｎｇｙａｎ （ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＳｈｉｊｉａｚｈｕａｎｇＵｎｉｖｅｒｓｉｔｙｏｆＥｃｏｎｏｍｉｃｓ，Ｓｈｉｊｉａｚｈｕａｎｇ０５００３１，Ｈｅｂｅｉ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｏｆｔｏｏｈｉｇｈｏｃｃｕｐａｎｃｙｏｆｃｏｍｍｕｎｉｃａｔｉｏｎｔｉｍｅａｎｄｌｉｍｉｔｅｄａｐｐｌｙｉｎｇｖａｌｕｅｏｆｔｈｅａｌｇｏｒｉｔｈｍｕｎｄｅｒｔｈｅ ｍｅｃｈａｎｉｓｍｏｆＭａｐｒｅｄｕｃｅ，ｗｅｐｕｔｆｏｒｗａｒｄａＨａｄｏｏｐｂａｓｅｄｔｗｏｓｔａｇｅｐａｒａｌｌｅｌｃＭｅａｎｓｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｔｏｄｅａｌｗｉｔｈｔｈｅｐｒｏｂｌｅｍｏｆ ｅｘｔｒａｌａｒｇｅｄａｔａｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｆｉｒｓｔ，ｗｅｉｍｐｒｏｖｅｄｔｈｅＭＰＩｃｏｍｍｕｎｉｃａｔｉｏｎｍａｎａｇｅｍｅｎｔｍｅｔｈｏｄｉｎＭａｐｒｅｄｕｃｅｍｅｃｈａｎｉｓｍ，ａｎｄｕｓｅｄ ｍｅｍｂｅｒｓｈｉｐｍａｎａｇｅｍｅｎｔｐｒｏｔｏｃｏｌｍｏｄｅｔｏｒｅａｌｉｓｅｔｈｅｓｙｎｃｈｒｏｎｉｓａｔｉｏｎｏｆｍｅｍｂｅｒｓｍａｎａｇｅｍｅｎｔａｎｄＭａｐｒｅｄｕｃｅｒｅｄｕｃｉｎｇｏｐｅｒａｔｉｏｎ．Ｓｅｃｏｎｄｌｙ， ｗｅｉｍｐｌｅｍｅｎｔｅｄｔｙｐｉｃａｌｉｎｄｉｖｉｄｕａｌｓｇｒｏｕｐｒｅｄｕｃｉｎｇｏｐｅｒａｔｉｏｎｉｎｓｔｅａｄｏｆｇｌｏｂａｌｉｎｄｉｖｉｄｕａｌｒｅｄｕｃｉｎｇｏｐｅｒａｔｉｏｎ，ａｎｄｄｅｆｉｎｅｄｔｈｅｔｗｏｓｔａｇｅｂｕｆｆｅｒ ａｌｇｏｒｉｔｈｍ．Ｆｉｎａｌｌｙ，ｔｈｒｏｕｇｈｔｈｅｂｕｆｆｅｒｉｎｆｉｒｓｔｓｔａｇｅｗｅｆｕｒｔｈｅｒｒｅｄｕｃｅｄｔｈｅｄａｔａａｍｏｕｎｔｏｆＭａｐｒｅｄｕｃｅｏｐｅｒａｔｉｏｎｉｎｓｅｃｏｎｄｓｔａｇｅ，ａｎｄｒｅｄｕｃｅｄ ｔｈｅｎｅｇａｔｉｖｅｉｍｐａｃｔｂｒｏｕｇｈｔａｂｏｕｔｂｙｂｉｇｄａｔａｏｎｔｈｅａｌｇｏｒｉｔｈｍａｓｍｕｃｈａｓｐｏｓｓｉｂｌｅ．Ｂａｓｅｄｏｎｔｈｉｓ，ｗｅｃａｒｒｉｅｄｏｕｔｔｈｅｓｉｍｕｌａｔｉｏｎｂｙｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌｂｉｇｄａｔａｔｅｓｔｓｅｔａｎｄＫＤＤＣＵＰ９９ｉｎｖａｓｉｏｎｔｅｓｔｄａｔａ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｈｏｗｅｄｔｈａｔｔｈｅａｌｇｏｒｉｔｈｍｃｏｕｌｄｂｏｔｈｇｕａｒａｎｔｅｅｔｈｅ ｃｌｕｓｔｅｒｉｎｇｐｒｅｃｉｓｉｏｎｒｅｑｕｉｒｅｍｅｎｔａｎｄｓｐｅｅｄｕｐｅｆｆｅｃｔｉｖｅｌｙｔｈｅｏｐｅｒａｔｉｏｎｅｆｆｉｃｉｅｎｃｙｏｆａｌｇｏｒｉｔ