Hadoop集群搭建步骤.docVIP

创新 专业 高效 进取 共赢 Hadoop集群搭建 目录 TOC \o 1-3 \h \z \u 20091 Hadoop集群搭建 1 11450 目录 1 10651 1、 基础集群环境搭建 1 29001 1.1、 安装JDK 1 4028 1.2、 修改主机名称，关闭防火墙 2 670 1.3、 添加内网域名映射 2 29492 1.4、 配置免密码登录 2 27119 2、 Hadoop集群环境安装 3 32693 2.1、Hadoop版本选择 3 5684 2.2、安装Hadoop 3 14905 2.2.1、Hadoop伪分布式模式安装 3 2767 2.2.2、Hadoop分布式集群安装 4 18826 3、 集群初步使用 7 2197 3.1、Hadoop集群启动 7 29613 3.2、HDFS集群初步使用 7 11248 4、 Hadoop集群安装高级知识 7 32757 4.1、Hadoop HA 安装 7 基础集群环境搭建 安装JDK 上传jdk-8u151-linux-x64.tar.gz /usr rz 解压到usr目录下 tar -zxvf jdk-8u151-linux-x64.tar.gz mv jdk原名 jdk1.8.0 (便于后期输入) 配置环境变量 vim /etc/profile 在最后加入： JAVA_HOME=/usr/java1.8 PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME PATH 保存退出 source /etc/profile 检测是否安装成功，输入命令：java -version 做完以上步骤，可以开始克隆虚拟机。因为以上系统的配置，都是一些基础性的操作。都是必须的 修改主机名称，关闭防火墙 root账号下使用命令：hostnamectl set-hostname hadoop02 Xshell关闭连接窗口，重新连接即可更改过来 关闭防火墙（CentOS7） firewall-cmd --state #查看防火墙状态 systemctl stop firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 三台都做 添加内网域名映射 修改配置文件：vim /etc/hosts 发送到另外两台上面 配置免密码登录 在root登录状态下，输入命令 ssh-keygen 或者 ssh-keygen -t rsa 三台都要 之后你会发现，在/root/.ssh 目录下生成了公钥文件 使用一个简单的方式，使用命令： ssh-copy-id hadoop02 建立hadoop01到hadoop02的免密码登录，三台都做,包括免密自己 Hadoop集群环境安装 2.1、Hadoop版本选择 1、Apache官方版本： 1.X 2.X 2.6.5 2.7.5 3.0.1 2、商业发行版本 提供完善的管理系统，修复bug可能会领先于官方版本 Cloudera公司的CDH：5.7.X 2.2、安装Hadoop 2.2.1、Hadoop伪分布式模式安装（不弄 ） Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点即作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。 Hadoop的配置文件位于hadoop-2.7.5/etc/hadoop/文件夹中，伪分布式需要修改两个配置文件core-site.xml和hdfs-site.xml（其中hdfs-site.xml用来配置数据块的副本数量，对于伪分布式来说，不管你配置几个副本数量，它始终都只有一个副本，所以可以不用管）。Hadoop分配置文件是xml格式，每个配置文件以声明property的name 和value的方式来实现 修改hadoop-env.sh配置文件，添加jdk安装目录 [root@hadoop01 hadoop]# vim hadoop-env.sh 修改core-site.xml configuration !-- 指定HDFS老大（namenode）的通信地址 -- property namefs.defaultFS/name valuehdfs://hadoop01:9000/value /property !-- 指定hadoop运行时产生文件的存储路径 -- property namehadoop.tmp.dir/name