Hadoop下分布式有哪些信誉好的足球投注网站引擎.pdfVIP

计 算 机 系 统 应 用 2010 年 第 19 卷 第 7 期 ① Hadoop 下的分布式有哪些信誉好的足球投注网站引擎 1 2 胡 彧 封 俊 (1.太原理工大学 测控技术研究所 山西 太原 030024 ；2. 太原理工大学 计算机 与软件学院 山西 太原 030024) 摘 要： 分析了Hadoop 系统结构，提出一种改进的PageRank 算法，使用Map/Reduce 模式设计系统模块。 实验证明，使用Hadoop 框架能够设计出具有高性能、高可靠性和易扩展性的分布式有哪些信誉好的足球投注网站引擎。 关键词： Hadoop; PageRank; Map/Reduce; 分布式有哪些信誉好的足球投注网站引擎 Distributed Search Engine Using Hadoop 1 2 HU Yu , FENG Jun (1.The Institute of Measuring and Controlling Technology, Taiyuan University of Technology, Taiyuan 030024, China; 2.College of Computer and Software, Taiyuan University of Technology, Taiyuan 030024, China) Abstract: Initially, the architecture of Hadoop is analyzed, and an improved PageRank algorithm is proposed. Then, we design system modules using Map/Reduce. The implementation presents that the distributed search engine using Hadoop is good in its performance, reliability and scalability. Keywords: Hadoop; PageRank; Map/Reduce; distributed search engine 1 引言 的分布式程序设计模型，用于在集群上对海量数据进 互联网的高速发展使 Internet 上信息数量呈几何式 行并行处理。Map/Reduce 的名字源于这个模型中的 增长。现有的集中式有哪些信誉好的足球投注网站引擎从如此海量的信息中快速检 两项核心操作：Map 和 Reduce。 索出真正需要的信息正变得越来越困难，所以有哪些信誉好的足球投注网站引擎系 执行流程如图 1 所示。首先对输入的数据进行分 统应具有分布式处理能力，能根据需要处理信息的增长， 割，将分割后的数据分配给 Map，而 Map 把分配到 不断地扩展系统规模以增强系统处理信息的能力。因此， 构建分布式有哪些信誉好的足球投注网站引擎就变得非常有意义了。本文首先分析 的数据(一般为一组key, vaule对)映射为另外的一 了 Map/Reduce 编程模型运行原理及其优点，其次介绍 组key2, vaule2型中间数据，其映射的规则由一 了 Map/Reduce 模型的开源实现版本——Hadoop 分布 个函数指定； Reduce 是对 Map 输