hadoop+zookeeper+hive+hbase安装学习.doc

伪分布式安装Hadoop+zookeeper+hive+hbase安装配置 安装JDK,配置环境JAVA环境变量 export JAVA_HOME=/usr/lib/java-1.6.0/jdk1.6.0_37 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export HADOOP_INSTALL=/usr/hadoop/hadoop-1.0.3 export PATH=$PATH:$HADOOP_INSTALL/bin export JAVA_HOME=/user/local/jdk1.6.0_27 export JRE_HOME=/user/local/jdk1.6.0_27/jre export ANT_HOME=/user/local/apache-ant-1.8.2 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH 安装Hadoop-1.0.3 下载hadoop文件，地址为：/coases.html，下载完成后解压hadoop-1.0.3.tar.gz sudo tar -xzf hadoop-1.0.3.tar.gz 配置Hadoop环境变量 export HADOOP_INSTALL=/user/local/hadoop-1.0.3 export PATH=$PATH:$HADOOP_INSTALL/bin 激活profile文件： [root@localhost etc]# chmod +x profile [root@localhost etc]# source profile [root@localhost etc]# hadoop version 查看hadoop版本 [root@localhost ~]# hadoop version Hadoop 1.0.3 Subversion /repos/asf/hadoop/common/branches/branch-1.0 -r 1335192 Compiled by hortonfo on Tue May 8 20:31:25 UTC 2012 From source with checksum e6b0c1e23dcf76907c5fecb4b832f3be 输入 hadoop version命令后输入下图，则安装hadoop成功 修改配置文件 解压hadoop-1.0.3/hadoop-core-1.0.3.jar 去解压后的hadoop-core-1.0.3文件夹下,复制文件core-default.xml，hdfs-default.xml，mapred-default.xml三个文件到hadoop-1.0.3/conf/下,删除hadoop-1.0.3/conf/文件夹下的core-site.xml，hdfs-site.xml，mapred-site.xml，将复制过来的三个文件的文件名中的default修改为site 在hadoop-1.0.3文件夹同级创建文件夹hadoop，打开core-site.xml文件,修改属性节点下的name节点为hadoop.tmp.dir对应的value节点，修改为/user/local/${}/hadoop/hadoop-${}，这样hadoop生成的文件会放入这个文件夹下.修改name节点为对应的value节点，修改为hdfs://localhost:9000/ 打开mapred-site.xml文件，修改property节点下name为mapred.job.tracker对应的的value， 改为：localhost:9001 安装ssh 执行命令安装ssh：sudo apt-get install ssh 基于空口令创建一个新SSH密钥，以启用无密码登陆 ssh-keygen -t rsa -P -f ~/.ssh/id_rsa 执行结果： cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 测试 ssh localhost 测试结果： 输入yes 再次输入ssh localhost： 成功之后，就不需要密钥 格式化HDFS文件系统 输入指令: hadoop namenode –format [root@localhost ~]# hadoop namenode –format 13/07/17 14:26:41 INFO namenode.NameNode: STARTUP_MSG: /********