Hadoop-05B15D210分布式集群配置.doc

Hadoop-0.21.0分布式集群配置 编制日期：2010-9-8 文件信息 文件标题 Hadoop-0.21.0分布式集群配置 起草项目组 发布日期 2010年08月26日 说明 参考/wayne1017/archive/2007/03/20/678724.html， 但根据版本的变化做了相应的调整 本文主要是以安装和使用hadoop-0.21.0为例，指出在部署Hadoop的时候容易遇到的问题以及如何解决。 共有台机器，均使用的系统，Java使用的是jdk1.6.0。IP配置如下：hadoop1：97(NameNode) hadoop2：26(DataNode) hadoop3：00 (DataNode) 这里有一点需要强调的就是，务必要确保每台机器的主机名和IP地址之间能正确解析。一个很简单的测试办法就是ping一下主机名，比如在hadoop1上ping hadoop，如果能ping通就OK！若不能正确解析，可以修改/etc/hosts文件，如果该台机器作Namenode用，则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名；如果该台机器作Datanode用，则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。以本文为例，hadoop1(NameNode)中的/etc/hosts文件看起来应该是这样的?????????hadoop1????????localhost 7??????hadoop1????????hadoop1 26?????hadoop2????????hadoop2 00?????hadoop3????????hadoop3 hadoop2(DataNode)中的/etc/hosts文件看起来就应该是这样的：?????????hadoop2????????localhost 7??????hadoop1????????hadoop1 26?????hadoop2????????hadoop2 hadoop3(DataNode)中的/etc/hosts文件看起来就应该是这样的：?????????hadoop3????????localhost 7??????hadoop1????????hadoop1 00?????hadoop3????????hadoop3 对于Hadoop来说，在HDFS看来，节点分为Namenode和Datanode，其中Namenode只有一个，Datanode可以是很多；在MapReduce看来，节点又分为Jobtracker和Tasktracker，其中Jobtracker只有一个，Tasktracker可以是很多。我是将namenode和jobtracker部署在adoop1上，adoop2, hadoop3作为datanode和tasktracker。当然你也可以将namenode，datanode，jobtracker，tasktracker全部部署在一台机器上 目录结构 由于Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。我的三台机器上是这样的：都有一个的帐户，主目录是/home/[hadoop@ hadoop1:~]$tar -zxvf hadoop-0.21.0.tar.gz Hadoop部署目录结构如下：/home//hadoop0.21.0，所有的hadoop版本放在这个目录中。将hadoop0..0压缩包解压至hadoop0..0中，为了方便以后升级，建议建立一个链接指向要使用的hadoop版本，不妨设为hadoop[hadoop@ hadoop1:~]$ln -s hadoop-0.21.0 hadoop 这样一来，所有的配置文件都在/hadoop/conf/目录中，所有执行程序都在/hadoop/bin目录中。但是由于上述目录中hadoop的配置文件和hadoop的安装目录是放在一起的，这样一旦日后升级hadoop版本的时候所有的配置文件都会被覆盖，因此建议将配置文件与安装目录分离，一种比较好的方法就是建立一个存放配置文件的目录，hadoop-config，然后将/hadoop/conf/目录中的mastersslaves，hadoopenv.sh三个文件拷贝到hadoop-config目录中，并指定环境变量$HADOOP_CONF_DIR指向该目录。环境变量在/home//.bashrc和/etc/profile中设定。HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-config export HADOOP_CONF_DIR 综上所述，为了方便以后升级版本