hadoop hbse集群搭建 详细手册V0.9.docxVIP

Hadoop，ZooKeeper，HBase分布式搭建 前提准备 注： hbase的安装需要hadoop和zookeeper和hbase，生产环境下需要将zookeeper独立安装，hbase软件选择cloudera的cdh3u0，这样不会出现版本不兼容等问题。apache的版本需要重新编译hadoop0.20.2-appender版以保证没有数据丢失。 1、机器集群结构分布 使用8台曙光服务器搭建集群，ip为 *.*.83.1-8，hostname为hadoop-node1到hadoop-node8，其中 机器名 IP 所安装的程序 hadoop-node1 hadoop namenode / hbase HMaster hadoop-node2 *.*.83.2 hadoop datanode / hbase HRegionServer hadoop-node3 *.*.83.3 hadoop datanode / hbase HRegionServer hadoop-node4 *.*.83.4 hadoop datanode / hbase HRegionServer hadoop-node5 *.*.83.5 hadoop datanode / hbase HRegionServer hadoop-node6 *.*.83.6 hadoop datanode HRegionServer zookeeper hadoop-node7 *.*.83.7 hadoop datanode HRegionServer zookeeper hadoop-node8 *.*.83.8 hadoop secondNamenode / hbase HMaster zookeeper 2.硬件环境： 8台曙光服务器，cpu8核，每台机器都有两个500GB硬盘。 操作系统：SUSE enterprise 11 操作系统分区： 硬盘1：sda /boot 400MB /Swap 10GB / 余下的sda空间 硬盘2：/sdb2 都挂载在/sdb2上 3.提前准备相关软件 Jdk： jdk-6u30-linux-x64.bin Hadoop： hadoop-0.20.2-cdh-3u** Zookeeper： zookeeper-3.3.5-cdh3u** Hbase： hbase-0.906-c******* 详细操作： 当前用户 hadoop /home/ hadoop/app /app/hadoop/hadoop1.0.0/ /app/hbase/hbase0.92.0/ /app/zookeeper/zoookeeper3.3.4/ Step1 安装SUSE及搭建基本环境 操作系统具体安装可以随意，尽量保证每台机器一致，如每台的机器名，和ip配置都要符合上面所规划，这样方便之后的操作 在所有机器上，创建hadoop用户 保证每台suse服务器上的ssh服务都已经启动 在每台机器上/home/hadoop/下新建如下一些目录/program/java; /app/hadoop; /app/hbase; /app/zookeeper; /app/zookeeperdata 将相应的软件上传到实体机， 在hadoop-node1上解压hadoop和hbase # tar zxvf hadoop-0.20.2-cdh3u0.tar.gz # tar zxvf hbase-0.90.1-cdh3u0.tar.gz hadoop-node6在上解压zookeeper # tar zxvf zookeeper-3.3.3-cdh3u0.tar.gz 在节点1-5,8上修改/etc/profile export JAVA_HOME=/home/hadoop/program/java/jdk1.6.0_30 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH export HADOOP_HOME=/home/hadoop/