分布式操作系统实验一_Haodoop的安装和使用.pdfVIP

分布式操作系统实验一：Haodoop 的安装和使用 S 唐钊 嵌入式系统设计3 班 1、安装JDK 首先获得sun-java6 -jdk ,做法如下： 1）sudo add-apt-repository deb / lucid partner 2 ）sudo apt-get update 3 ）sudo apt-get install sun-java6 -jdk 安装好后在/etc/profile 中导入路径： export JAVA_HOME=/usr/lib/jvm/java-6-sun export JRE_HOME=/usr/lib/jvm/java-6-sun/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 输入： source /etc/profile 使环境变量生效。 检查环境变量看是否生效：echo $JAVA_HOME 检查JDK 是否安装成功。 #java -version 如果看到JVM 版本及相关信息，即安装成功。 2 、安装配置SSH 1）下载安装SSH：同样在命令行输入下面命令安装SSH sudo apt-get install ssh 2 ）配置无密码登录本机 在ubuntu1 （准备设为namenode ）上生成密钥对，执行$ssh-keygen -t rsa ，然后 一路回车，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa 文件中，即 id_rsa 和id_rsa.pub ，这两个是成对出现的，类似钥匙和锁。 把id_rsa.pub 追加到授权key 里面： cat id_rsa.pub authorized_keys cp id_rsa.pub authorized_keys 3 ）验证SSH 是否安装成功 输入 ssh localhost 。如果显示本机登录成功就表明安装成功。 3、安装hadoop 下载hadoop-0.20.2.tar.gz 解压tar -xzvf hadoop-0.20.2.tar.gz 把hadoop 的安装路径添加到/etc/profile 中 export HADOOP_HOME=/root/distributed_system/hadoop-0.20.2 export PATH=$HADOOP_HOME/bin:$PATH source /etc/profile 4 、配置hadoop Hadoop 的主要配置都在hadoop-0.20.2/conf 下。 1) 在conf/hadoop-env.sh 中配置java 环境： export JAVA_HOME=/usr/lib/jvm/java-6-sun 2) 配置conf/masters 和conf/slaves 文件 3) 配置core-site.xml、hdfs-site.xml、mapred-site.xml core-site.xml 文件内容修改为下面内容： configuration property name/name valuehdfs://localhost:9000/value /property /configuration hdfs-site.xml 文件内容修改为下面内容： configuration property namefs.replication/name value1/value /property /configuration mapred-site.xml 文件内容修改为下面内容： configuration property namemapred.job.tracker/name valuelocalhost:9001/value /property /configuration 5、伪分布模式 进入hadoop-0.20.2，格式化文件系统： bin/h