Hadoop学习-2-HADOOP安装.docVIP

HADOOP_2_HADOOP安装 实验目的 hadoop的安装方式分为单机的伪分布式安装和真正的分布式安装，本实验是在多节点上的分布式安装方式。让使用者学会安装和配置。能够熟练安装hadoop的用户可以跳过 先决条件 实验人员对于?1.Linux熟悉?环节中的命令很熟练 实验过程 jdk安装 1.??????在/root下有准备好的jdk文件： ? 先在/usr下新建文件夹java：mkdir /usr/java 再把准备好的jdk文件拷贝到/usr/java下： 2.??????设置环境变量JAVA_HOME 切换到hadoop用户，执行vi /home/hadoop/.bashrc?打开.bashrc文件，在该配置文件末尾添加： export JAVA_HOME=/usr/java/jdk_1.7.0_17 如图： ? 一下划横线部分关于“无密码访问”，环境在hadoop用户中已经准备好，可以直接跳过，如果想尝试步骤的，可以新建一个用户自行尝试。 ?无密访问设置 #su hadoop?//切换到hadoop用户 $cd /home/hadoop 1.???????生成id_rsa.pub文件 $ssh-keygen -t rsa $cd .ssh 这里要注意，执行完命令后要选择生成文件所放的位置，按回车即选择默认即可。 [hadoop@localhost ~]$ ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/home/hadoop /.ssh/id_rsa):?（此处按回车） Created directory /home/hadoop/.ssh. Enter passphrase (empty for no passphrase):?????????????????（此处按回车） Enter same passphrase again:???????????????????????????????（此处按回车） Your identification has been saved in /home/hadoop/.ssh/id_rsa. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. The key fingerprint is: 23:a8:36:c7:c3:89:1a:f9:97:00:88:36:73:d6:5a:0b hadoop@localhost The keys randomart image is: +----+ | | | | |o . | |++ E + | |..= = o S | | ..* o . . | |o =.*. | | = oo. | |. .. | 2.???????把公钥追加到此文件: $cat id_rsa.pub authorized_keys ? $chmod 600 /home/hadoop/.ssh/authorized_keys $chmod 700 /home/hadoop/.ssh 3.???????修改sshd_config文件（每个节点在root用户下都需要执行一遍）: 退出hadoop用户：exit #vim /etc/ssh/sshd_config RSAAuthentication yes?//进去后发现已经是yes，就没有改。 ? 4.???????将无密访问设置同步到其他所有节点: $scp -rp /home/hadoop/.ssh?hostname:/home/hadoop/ ? ? 5.???????启动sshd服务： 在其他所有节点上执行： #service ssh restart ? 主节点部署 关闭防火墙： 进入root用户，执行命令： ufw disable 建议目录部署： 在每个节点切换到hadoop用户：su hadoop 在每个节点上手动创建hadoop运行文件目录：mkdir –p /home/hadoop/deploy Hadoop部署中还会用到如下目录： hadoop数据目录：?/home/hadoop/sysdata hadoop namenode数据目录：?/home/hadoop/namenode hadoop临时文件目录：?/home/hadoop/secondaryname hadoop临时文件目录：?/home/hadoop/tmp mapred临时文件目录: /home/hadoop/mapred 这些目录不需要手动创建，在集群搭建完成后，启动集群时会自动创建 将准备好的hadoop-1