实验2++Hadoop和HBase安装、部署和配置实验.docVIP

实验 一．实验目的 1. 掌握Linux基本操作命令 2. 学习如何安装、配置Hadoop 3. 学习如何安装、配置HBase 二．实验内容 （一）Linux基本操作命令 本实验的所有操作是基于Cent0S 5 Linux操作系统的，适用于CendOS 5.4和CentOS 5.5。 Linux常用基本命令包括： ls,cd,mkdir,rm,man,cat,ssh,yum,vim,vi等。 （二）安装JDK Hadoop是Java实现的，运行在Java虚拟机上。我们需要安装JDK并设置JAVA环境变量。 （三）配置各节点间无密码验证 Hadoop集群的启动需要通过SSH启动各从节点，需要配置各节点之间SSH无密码验证。 （四）配置和启动Hadoop分布式集群 Hadoop有三种配置：单击模式、伪分布式模式(单台节点模拟分布式)和分布式模式，本实验是配置真实分布式模式的Hadoop，需要多态节点支持。 （五）安装、配置和启动HBase 在已经安装和配置好的Hadoop平台上安装HBase 0.9。配置完成后能够启动。 三．实验要求 实验前需要在若干台物理机或者虚拟机(例如VMWare或者Xen)上安装好CentOS 5.4或者CentOS 5.5系统。 四．实验步骤 1. JDK安装和Java环境变量配置 (1)安装 JDK 1.6 root用户登陆，下载JDK安装包,例如jdk-6u13-linux-i586.bin,复制到目录/usr/下，在命令行进入该目录，执行命令“./jdk-6u13-linux-i586.bin”，命令运行完毕，将在/usr目录下生成文件夹jdk1.6.0_13，安装完毕。 (2)Java环境变量配置 root用户登陆，命令行中执行命令”vi /etc/profile”,并加入以下内容，配置环境变量(注意/etc/profile这个文件很重要，后面Hadoop的配置还会用到)。 # set java environment export JAVA_HOME=/usr/program/jdk1.6.0_13/ export JRE_HOME=/usr/program/jdk1.6.0_13/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH 保存并退出，执行以下命令使配置生效 source /etc/profile 2. 配置所有节点之间SSH无密码验证 以节点A和B两个节点为例，节点A要实现无密码公钥认证连接到节点B上时，节点A是客户端，节点B是服务端，需要在客户端A上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到ssh连接服务端B时，服务端B就会生成一个随机数并用客户端A的公钥对随机数进行加密，并发送给客户端A。客户端A收到加密数之后再用私钥进行解密，并将解密数回传给B，B确认解密数无误之后就允许A进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端A公钥复制到B上。 因此如果要实现所有节点之间无密码公钥认证，则需要将所有节点的公钥都复制到所有节点上。 (1)所有机器上生成密码对 (a)所有节点用hadoop用户登陆，并执行以下命令，生成rsa密钥对: ssh-keygen -t rsa 这将在/home/hadoop/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。 (b)将所有datanode节点的公钥id_rsa.pub传送到namenode上: cp id_rsa.pub datanode01.id_rsa.pub scp datanode01.id_rsa.pub namenode节点ip地址:/home/hadoop/.ssh ...... cp id_rsa.pub datanoden.id_rsa.pub scp datanoden.id_rsa.pub namenode节点ip地址:/home/hadoop/.ssh (c)namenode节点上综合所有公钥(包括自身)并传送到所有节点上 cp id_rsa.pub authorized_keys 这是namenode自己的公钥 cat datanode01.id_rsa.pub authorized_keys ...... cat datanode0n.id_rsa.pub authorized_keys 然后使用SSH协议将所有公钥信息authorized_keys复制到所有DataNode的.ssh目录下 scp authorized_keys data节点ip地址:/