一种基于Hadoop的并行关联规则算法.pdfVIP

第 27 卷 第 1 期 天 津 理 工 大 学 学 报 Vol． 27 No． 1 2011 年 2 月 JOURNAL OF TIANJIN UNIVERSITY OF TECHNOLOGY Feb． 2011 文章编号: 1673-095X 20 11 0 1-0025-04 一种基于 Hadoop 的并行关联规则算法 1 1 2 ， ， 余楚礼 肖迎元 尹 波 1． ， 300384 ; 2 ． 21 ， 300384 天津理工大学 计算机与通信工程学院 天津 世纪恒丰环保节能工程有 限公 司 天津 : ， ． ， ， 摘 要 在挖掘 大型数据库的关联规则 时 使 用并行计算是 必需的 针对传统的并行计算 存在不 能处理 节点失效 ， Hadoop ． ， Hadoop 难 以处理 负载均衡等 问题 提出基于 架构实现并行 关联规则计算的设计 理论和 实验证 明 基于 的并 ， ， ． 行 关联规则计算 能处理节点失效 并且能做到节点 负载均衡 关键词: 关联规则; Hadoop; 云计算; 数据挖掘 中图分类号: TP312 文献标识码: A doi : 10． 3969 /j ． issn． 1673-095X． 2011． 01． 007 A parallel algorithm for mining frequent item sets on Hadoop YU Chu-li1 ，XIAO Ying-yuan1 ，YIN Bo2 1． School of Computer and Communications Engineering ，Tianjin University of Technology ，Tianjin 300384 ，China; 2 ． 21st Centruy Hengfeng Environmental Conservtion Engineering Co．，Ltd ，Tianjin 300384 ，China Abstract : Parallel compute is required in mining frequent item sets on large databases． MPI can＇t handle node failure ，and it ＇s difficult to solve load balance． So we propose parallel mining frequent item sets on Hadoop． Theoretical and experimental results show parallel mining frequent item sets on Hadoop can handle node failure and can solve load balance． Key words: association rules; Hadoop; cloud compute; data mining ， 关联规则是用来描述事物之 间的联系 是用来 1 Hadoop 简介 挖掘事物之 间的相关性． 挖掘关联规则 的核心是通 ， Hadoop ［7］ ， 过 统计 数 据 项 获得 频 繁 项 集 现 有 的算法主要 有 是一个 分 布式基础架构 可 以在不 了 ［1］ ［2］ ［3］ ， Apriori ，PARTITION 、FP2growth 及 抽 样 算 法 解分布式底层 细节 的情况下 开发分 布式或并行应 ， ， ， ． ， 用程序 充分利用集群 的威力高速运算 和存储 它也 等 这些算法是基于单节点 的算法 但 是 现在 的数 ， TB ， 是云计算的 主要 架构 之 一． Hadoop 具 有 以下一 些 据库越来越大 达到了 级甚 至更 大 采用传统的 特点: ， ． 算法将非常缓慢 甚至不能服务于有 时限性 的问题 1 扩 容 能 力: 能 可 靠 地 存 储 和 处 理 PB 级 别 ， ， 为此 研究 人 员 提 出 了多种并行 挖掘算法 主要 有 CD count distribution 、DD data distribution 、CaD 数据． candidate distribution ［4］、FDM ［5］ FMAGF ［6］ ． 2 成本低: 可 以通过普通微机组成 的集群来分 和 等 这 发 以及 处 理数 据． 这 些 服 务 器 群 总计 可 达 数 千 个 ， 些算法解决 了挖掘效率 的问题 但是 由于