分布式文件存储(hadoop+hbase)部署文档.docVIP

文档版本：V1.01 分布式文件存储（hadoop+hbase）部署文档 二○一二年一月 目 录 第一章 概述 1 第二章 环境准备 2 2.1 硬件环境 2 2.2 软件环境 2 第三章 部署过程 3 3.1 部署 3 3.1.1 安装JDK 3 3.1.2 设置java环境变量 3 3.1.3 配置SSH协议无密码访问 3 3.1.4 部署hadoop 4 设置hadoop环境变量 4 设置主从配置 4 修改配置文件 core-site.xml 5 修改配置文件 hdfs-site.xml 5 修改配置文件 mapred-site.xml 6 格式化namenode 6 测试是否成功 6 3.1.5 部署Zookeeper 6 3.1.6 部署HBase 7 配置hbase-env.sh文件 7 配置hbase-site.xml文件 7 配置regionservers文件 8 替换hadoop-core包 8 测试是否成功 9 概述 本文以mster为管理主机，node1和node2为数据节点部署hadoop+hbase分布式文件系统。以下文档中如果涉及到主机名或者关键点都会以颜色标记，文中涉及配置除了zookeeper服务器需要单独部署zookeeper外，其他都都需要在master和各个节点配置。文章适合于有一定Linux基础的研发人员。 环境准备 硬件环境 机器IP 主机名 用户名 密码 操作系统 备注 部署软件 2 master root Centos 管理节点（namenode） hadoop、hbase、jdk 3 node1 root Centos 数据节点（datanode） hadoop、hbase、jdk、zookeeper 4 node2 root Centos 数据节点（datanode） hadoop、hbase、jdk 注：主机名不能包含下划线！！！ 软件环境 软件如不特殊说明，均为64位。 名称 版本 备注 centos 5.7 hadoop 0.20.2 hbase 0.90.2 zookeeper 3.3.3 jdk 1.6.0_21 部署过程 部署 安装JDK 安装jdk1.6，注意：jdk1.6小版本不要是18。 设置java环境变量 /etc/profile文件中增加如下内容#config java JAVA_HOME=/usr/java/jdk1.6.0_21 CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar PATH=$JAVA_HOME/bin:$HOME/bin:$PATH export PATH JAVA_HOME CLASSPATH 让设置生效: source /etc/profile$ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa 直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件)： $ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys。 完成后可以实现无密码登录本机： $ ssh localhost把上的id_dsa.pub 文件追加到和的authorized_keys 内( 以节点为例)： a. 拷贝的id_dsa.pub文件： $ scp id_dsa.pub root@3:/root/.ssh b. 登录，进入/目录执行： $ cat id_dsa.pub authorized_keys/etc/hosts的配置 2 3 node1 4 node2 执行： $ ssh node1 如果成功登陆，则说明配置成功。 部署hadoop 设置hadoop环境变量 /etc/profile增加如下内容 #config hadoop export HADOOP_HOME=//hadoop-0.20.2/ export PATH=$HADOOP_HOME/bin:$PATH #hadoop export HADOOP_LOG_DIR=${HADOOP_HOME}/logs 让设置生效: source /etc/profile Namenode(即：hadoop管理节点master)中/etc/hosts的配置如下: 2 3 node1 4 node2 Node1中/etc/hosts的配置如下: 2 3 node1 Node2中/etc/hosts的配置如下: 2 node2 Na