在云中使用MapReduce和负载平衡云架构基本内容-云计算论坛.PDFVIP

在云中使用 MapReduce 和负载平衡 云计算旨在通过 Internet 提供随需应变的资源或服务，通常视数据中心的规模和可靠 性水平而定。MapReduce 是一个为并行处理大量数据而设计的编程模型，它将工作划分 为一个独立任务组成的集合。它是一种并行编程，由某种功能随需应变的云（如 Google 的 BigTable、Hadoop 和Sector）提供支持。 在本文中，将使用遵从 Randomized Hydrodynamic Load Balancing 技术（下文 将详细介绍）的负载平衡算法。利用虚拟化来降低成本和物理服务器的实际数目；更重要的 是，将使用虚拟化用来实现高效的物理计算机 CPU 利用。 要从本文获取最多的知识，您应该大致了解云计算的概念、Randomized Hydrodynamic Load Balancing 技术和 Hadoop MapReduce 编程模型。最好对并行 程序设计有一个基本的了解，了解 Java™ 或其他面向对象的语言的编程知识将很有帮助。 在本文中，要实现 MapReduce 算法，系统应装有以下软件： 1. Hadoop 0.20.1. 2. Eclipse IDE 3.0 以上（或 Rational Application Developer 7.1）。 3. Ubuntu 8.2 以上。 深入 MapReduce 算法之前，我们将建立基本的云架构、负载平衡、MapReduce 和 并行编程 — 至少对本文这是足够了。 云架构：基本内容 图 1 显示了完整的系统详图，包括平台、软件，以及如何使用它们来实现本文的目标 设置。 图 1. 云架构 您可以看到，我们使用 Ubuntu 9.04 和 8.2 作为操作系统；平台是 Hadoop 0.20.1、 Eclipse 3.3.1 和 Sun Java 6；编程语言使用 Java；脚本语言使用 HTML、JSP 和 XML。 该云架构有一个主节点和一些从属节点。在该实现中，维护主服务器，获取客户端请求 并根据请求的类型进行处理。 从图 2 中可以看到，有哪些信誉好的足球投注网站请求转发到 Hadoop NameNode。然后，Hadoop NameNode 负责有哪些信誉好的足球投注网站和索引操作，它将启动大量 Map 和 Reduce 进程。完成特定的搜 索关键字 MapReduce 操作之后，NameNode 将输出值返回到服务器并交付客户端。 图 2. Map 和 Reduce 函数执行有哪些信誉好的足球投注网站和索引 如果请求的是特定的软件，则将基于客户租户 ID、支付会费、使用该特定软件的资格 以及软件的租赁期完成验证步骤。然后，服务器为该请求提供服务，并允许用户使用特定的 软件组合。 在这里提供 SaaS 的多租户功能，单个软件实例可以服务于多个租户。这样，相同的 软件映像集合会基于租户 ID 生成不同的实例生成。 这些服务意味着，客户端将使用 Hadoop、Eclipse 等平台以及在有哪些信誉好的足球投注网站文件或使用某些 软件时使用的操作系统。此外，为了存储其数据（数据库或文件），在云中，客户端将不得 不占用一些数据中心（IaaS）的内存空间。所有这些对终端用户都是透明的。 Randomized Hydrodynamic Load Balancing：基本内容 负载平衡用来确保在使用其他资源时您现有的资源都不是空闲的。若要平衡负载分布， 可以将负载从源节点（有多余工作负载）的迁移到相对较轻的负载目标节点。 在运行时应用负载平衡时，它被称之为动态负载平衡 — 这可以根据执行节点选择直接 实现或以迭代的方式实现： 1.迭代的方法通过几个迭代步骤确定最终目标节点。 2.直接方法在一个步骤中选择最终目标节点。 本文使用 Randomized Hydrodynamic Load Balancing 方法，这是一种同时利用 了直接和迭代方法的混合方法。 MapReduce：基本内容 MapReduce 程序用于以并行方式计算大量数据。这就需要在很多计算机之间分配工作 负荷。Hadoop 提供了一种系统的方法来实现这种程序设计范式。 计算需要输入一组键/值对，生成一组输出键/值对。计算涉及的两个基本操作：Map 和 Reduce。 用户编写的 Map 操作需要输入并生成一组中间键/值对。MapReduce 库将所有与同 一中间键 #1 相关联的中间值组合到一起，