hadoop技术预研总结.docxVIP

一．HADOOPhadoop安装配置 配置流程初学hadoop，写下一些 学习过程 和 心得体会，希望能帮助到同样学习的兄弟们三台机器：分别为 master()，slave1()，slave2()master即为hadoop的Namenode节点，slave1和slave2为hadoop的Datanode节点注：以下操作均为root用户或root权限用户操作(本文章为root用户操作)1.设置机器名(在这里只要机器名不同就可以，不一定需要后缀域名) (1). hostname分别为：master.localdomain??slave1.localdomain?slave2.localdomain?分别修改各机器/etc/sysconfig/network文件 ，使 hostname=master.localdomain hostname=slave1.localdomain hostname=slave2.localdomain (2). 各机器/etc/hosts文件配置为?# cat /etc/hosts? master.localdomain ?master? slave1.localdomain ?slave1? slave2.localdomain ?slave2 注:以上机器各个机器名一定要不同，否则hadoop的raduce过程会出错，之所以各个机器名使用域名方式 ，是因为这样可以使 linux启动时 sendmain和ssclient进程启动更迅速些2.无密码登陆 (1). ?本机无密码登陆(master)?从master (Namenode)上无需密码ssh到各slave (Datanode)上,在master上执行如下命令：?# ssh-keygen -t dsa -P -f ~/.ssh/id_dsa??则在 /root/.ssh目录中生成了两个文件为：：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件)：$ cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys。完成后可以实现无密码登录本机：$ ssh localhost。 (2). ?master (Namenode) 到slavle(DataNode)无密码登陆?把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以 节点为例)： a. 拷贝NameNode 的id_dsa.pub 文件：?$ scp id_dsa.pub root@:/root b. 登录，执行$ cat id_dsa.pub .ssh/authorized_keys 其他的dataNode 执行同样的操作。 注意：如果配置完毕，如果namenode 依然不能访问datanode，可以修改datanode 的authorized_keys：$ chmod 600 authorized_keys。3.关闭linux防火墙，使其永久关闭防火墙?# chkconfig iptables off?# service iptables stop ?(如果只运行此一条命令，系统重启后防火墙将继续开启)4.安装JDK，配置JDK环境变量，过程略过 (此需要JDK1.6+版本)5.安装hadoop?下载hadoop安装包，我下载的的为hadoop-0.20.0.tar.gz版本，解压即可(本人解压到/usr目录中) # tar -zxvf hadoop-0.20.0.tar.gz 配置hadoop环境变量,添加如下到/etc/profile中 export HADOOP_HOME=/usr/hadoop-0.20.2 export PATH=$HADOOP_HOME/bin:$PATH6.配置hadoop?hadoop 的主要配置都在hadoop-0.20.2/conf 下。?(1).在conf/hadoop-env.sh 中配置Java 环境(namenode与datanode 的配置相同)： $ vi hadoop-env.sh 配置export JAVA_HOME=/usr/java/jdk1.6 ?(去掉行的#注释且加java路径即可)?(2).配置conf/masters 和conf/slaves 文件:(只在namenode 上配置)?masters文件内容:?(此机器为SecondaryNamenode机器地址) ?slaves文件内容: ?(3).配置conf/core-site.xml, conf/hdfs-site.xml 及conf/mapred-site.