分布式集群环境下基于并行计算的图聚类信息高效处理方案.pdfVIP

计 算 机 应 用 Computer Applications 《自动化技术与应用》2016年第35卷第 3期 分布式集群环境下基于并行计算的图聚类 信息高效处理方案 ★ 张 博 (长沙师范学院 电子与信息工程系 ，湖南 长沙 410100) 摘 要 ：针对人工智能领域图聚类数据分析与处理能力无法适应于日益复杂的分布式集群环境等问题 ，提出一种基于并行计算的 高效率图聚类信息处理方案。在分布式集群计算环境下对超大规模、超大区域范围图数据信息的稀疏化分析与处理机制上 ， 通过对Minhash算法以MapReduce架构理论进行改进 ，使其实现对数据的并行化分析处理 ，确保能够在日益复杂的分布 式集群计算环境下高效处理图聚类数据信息。实验表明 ，改进方案不仅可行 ，而且能够对图聚类数据信息进行快速稀疏化 处理 ，具有一定的高效性。 关键词 ：人工智能 ；数据挖掘 ；映射规约 ；图聚类 ；最小哈希算法 中图分类号 ：TP391 文献标识码 ：A 文章编号 ：1o03—7241(2016)03—0029-08 Eficient Graph Clustering Information Processing Scheme ‘ Based On Distributed Cluster Environment ZHANG Bo (Electronic and Information Engineering，Changsha Normal University,Changsha 4 1 0 1 00 China) Abstract：In order to the problem about graph clustering data analysis ability can’t adapt to the increasingly complex distributed cluster environment in artifcial intelligence，this scheme designes an eficient sparsification algorithm based on paralel ’ computing．This algorithm analyzes and improves Minhash algorithm based on MapReduce framework theory,and eficiently processes and analyzes the graph clustering data information in the increasingly complex distributed cluster environm ent．Experiment showes that the algorithm not only is feasible，but also can quickly process graph clustering sparse data，andithas ahigh eficiency． Key words：artifcial intelligence；data mining；MapReduce；graph clustering；Minhash 1 引言 网络交互体系变得越来越复杂 ，将其建模成图模型 是其必然的趋势I1】。在这种图模型里面 ，各结点主要用 来描述对象实体 ，而各边主要是描述对象实体的关系。 例如社交网络体系即属于无向图模型结构的范畴 ，各结 点所指代的内容为社交个体或群体 ，各边指代社交个体 或者群体间的关联 ，主要包括朋友、同事等拉J。现阶段 ， ·基金项目：湖南省自然科学基金项目 (2015J J6007)、湖南省教育厅 科学研究项目 (1 3C1070) 收稿 日期：201 5-03-19 伴随信息技术和网络的日益发展 ，尤其是 Web3．0网络 的问世 ，各种虚拟网络应用产品在实践中得到普及 ，例 如微博等 ，其图数据信息的处理量不断增加 ，形成了海 量图数据信息 ，从而使图数据挖掘与分析应用能力面临 一 系列非常严峻的挑战 [3-5]0 作为图数据挖掘与分析应用的重要作用之一 ，图聚 类主要根据聚簇对图模型中的各结点实施分类操作 ，同 时增加同类聚簇图结点对象实体的关联性 ，减小异类的 关联性。现阶段 ，图聚类在实践中已经普及 ，如交通运 输规划分析等。因此 ，伴随各种超大规模图数据信息与 处理机制的问世 ，怎样科学合理的进行图聚类分析与处 《自动化技术与应用》2016年第35卷第3期 计 算 机 应 用 Computer Applications 理 ，在此基础上 ，对其中潜在的有效数据进行挖掘 ，已