太原理工云计算实验报告-.docVIP

实验报告√ 实践报告□ 课程名称： 云计算技术 实验、实践名称： Hadoop集群搭建 实验、实践地点：计算机学院实验楼 专业班级：物联网91 学生姓名： 赵羽龙 指导教师： 邓红霞 2017年 11月 22日 实验、实践名称： Hadoop集群搭建 理解云计算的基本理论知识，理解Hadoop的基本概念，掌握如何在Linux上安装Hadoop。 2、实验要求： 成功安装虚拟机Centos，成功搭建Hadoop集群。 二、实验内容和原理 Hadoop的工作过程原理： 一个集群中只有一个NameNode，可以有多个DataNodes；namenode?承担数据的位置存储信息，并将存储位置信息告诉client端；得到位置信息后，client端开始写数据；写数据的时候是将数据分块，并存储为多份(一般为3份)，放在不同的datanode?节点；?client?先将数据写到第一个节点，在第一个节点接收数据的同时，又将它所接收的数据推送到第二个，第二个推送到第三个节点，如果有多个节点，依次类推；?NameNode?不参与数据块的IO。 NameNode 是一个通常在 HDFS 实例中的单独机器上运行的软件。它负责管理文件 系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到 DataNode 上的复制块上。对于最常见的 3 个复制块，第一个复制块存储在同一机架的不同节点上，最后一个复制块存储在不同机架的某个节点上。注意，这里需要您了解集群架构。实际的 I/O 事务并没有经过 NameNode，只有表示 DataNode 和块的文件映射的元数据经过 NameNode。当外部客户机发送请求要求创建文件时，NameNode 会以块标识和该块的第一个副本的 DataNode IP 地址作为响应。这个 NameNode 还会通知其他将要接收该块的副本的 DataNode。NameNode 在一个称为 FsImage 的文件中存储所有关于文件系统名称空间的信息。这个文件和一个包含所有事务的记录文件（这里是 EditLog）将存储在 NameNode 的本地文件系统上。FsImage 和 EditLog 文件也需要复制副本，以防文件损坏或 NameNode 系统丢失。 NameNode 也是一个通常在 HDFS 实例中的单独机器上运行的软件。Hadoop 集群包 含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。DataNode 响应来自 HDFS 客户机的读写请求。它们还响应创建、删除和复制来自 NameNode 的块的命令。NameNode 依赖来自每个 DataNode 的定期心跳（heartbeat）消息。每条消息都包含一个块报告，NameNode 可以根据这个报告验证块映射和其他文件系统元数据。如果 DataNode 不能发送心跳消息，NameNode 将采取修复措施，重新复制在该节点上丢失的块。 文件操作：HDFS 并不是一个万能的文件系统。它的主要目的是支持以流的形式访问写入的大型文件。如果客户机想将文件写到 HDFS 上，首先需要将该文件缓存到本地的临时存储。如果缓存的数据大于所需的 HDFS 块大小，创建文件的请求将发送给 NameNode。NameNode 将以 DataNode 标识和目标块响应客户机。同时也通知将要保存文件块副本的 DataNode。当客户机开始将临时文件发送给第一个 DataNode 时，将立即通过管道方式将块内容转发给副本 DataNode。客户机也负责创建保存在相同 HDFS 名称空间中的校验和（checksum）文件。在最后的文件块发送之后，NameNode 将文件创建提交到它的持久化元数据存储（在 EditLog 和 FsImage 文件） 三、主要实验环境 1、虚拟机：VMware?10 2、操作系统：CentOS-6.5? 3、Hadoop版本：hadoop-2.5.2 4、Jdk版本：jdk-8u101-linux-x64 5、Hadoop集群：一台namenode主机master，一台datanode主机salve，? 四、操作方法与实验步骤 1、打开两台虚拟机分别进行Linux系统配置 1）配置自动时钟同步： 使用 Linux 命令crontab –e配置，键入下面的一行代码： 0 1 * * * /usr/sbin/ntpdate