云计算环境下多服务器多分区数据高效挖掘方法设计.docVIP

云计算环境下多服务器多分区数据高效挖掘方法设计 　　摘 要： 云计算环境下的多服务器多分区系统中存在海量数据，传统串行数据挖掘方法对这些数据进行挖掘的过程中，无法对海量数据进行并行处理，挖掘效率低。针对该问题，设计云计算环境下多服务器多分区数据挖掘系统，其包括基础设施即服务层、平台即服务层、软件即服务层，可实现大规模数据的高效挖掘。系统通过平台即服务层中的多服务器多分区数据处理模型，实现海量数据的分布式运算，并基于MapReduce机制实现K均值聚类数据挖掘算法的并行化，通过Map和Reduce函数实现多服务器多分区数据的并行挖掘。实验结果表明，所设计系统大幅度降低了云计算环境下多服务器多分区数据的挖掘时间，提高了数据的挖掘效率和稳定性 关键词： 云计算； 多服务器； 多分区数据； 数据挖掘 中图分类号： TN911?34； TP311 文献标识码： A 文章编号： 1004?373X（2017）10?0043?03 Abstract： Since there are mass data in the multi?server multi?partition system in cloud computing environment， the traditional serial data mining method cannot be carried out on the parallel processing of the mass data in the data mining process， and its mining efficiency is low， a cloud computing environment multi?server multi?partition data mining system was designed， which includes infrastructure， platform and software， and can realize efficient mass data mining. The system can realize the distributed operation of mass data through the multi?server multi?partition data processing model in the platform， and achieve parallelization of K?means clustering data mining algorithm based on MapReduce mechanism. The multi?server multi?partition data parallel mining is realized with Map and Reduce functions. The experimental results indicate that the designed system has greatly shortened multi?server multi?partition data mining time in the cloud computing environment， and improved the efficiency and stability of data mining. Keywords： cloud computing； multi?server； multi?partition data； data mining 0 引 言 当前随着信息时代的到来，云计算环境下的多服务器多分区网络中的数据量呈现爆炸式增长[1]。采用有效的数据挖掘工具，可从这些数据中提取有价值的信息，能够为人们的生产和生活提供服务。传统的串行数据挖掘方法[2]无法对海量数据进行并行处理，挖掘效率低，存在较多弊端。因此，寻求有效方法，高效挖掘云计算环境下多服务器[3]多分区网络中的数据，具有重要应用意义 1 云计算环境下多服务器多分区数据挖掘系统 1.1 系统结构 基于云计算的多服务器多分区数据挖掘系统是一个低成本、高可靠性的海量并行数据挖掘系统，其总体结构如图1所示 基于云计算的多服务器多分区数据挖掘系统包括基础设施即服务层、平台即服务层和软件即服务层。云计算环境下多服务器多分区网络中的应用程序每一个都是独立的，负责的每一项业务不同[4?6]。在这种环境下把多服务器分解优化成数个虚拟机，极大地提高了物理机的使用频率，有利于负载均衡和避免资源的浪费，在最大程度上提高了系统部署和在线活动的运行效率[7?8] 多服务器多分区数据处理