CDH nameNode HA搭建过程.pdfVIP

编码：MFG-BIGDATA-001 大数据梅峰谷项目组 CDH Hadoop HA 搭建过程 编写人 梅峰谷 日期 2016 年10 月01 日 修改人 日期 年 月 日 版 本 V1.0 欢迎大家关注我的个人公众号：大数据梅峰谷，分享更多由梅峰谷编辑书籍和文档。 目 录 前言 3 1.环境准备 3 1.1 准备hadoop 账号 3 1.2 配置静态IP 及hosts 4 1.3 安装ssh 及免密码登录 6 1.4 关闭防火墙 9 1.5 关闭SELinux 10 1.6 配置JDK 环境 11 1.7 机器配置及ip 规划 12 1.8 组件下载地址 12 2.配置ZooKeeper 12 2.1 准备工作 13 2.2 修改Zookeeper 配置 13 2.3 启动Zookeeper 集群 13 2.4 验证ZK 服务 14 3. 配置Hadoop 服务 15 3.1 准备工作 15 3.2 配置Hadoop 参数 15 3.3 启动Hadoop 集群 22 3.4 验证服务 24 4. 配置时钟同步 25 5. 配置机架感知 26 5.1 修改配置文件 26 5.2 建立感知脚本 26 5.3 配置感知文件 27 5.4 验证服务 27 前言 该文档为梅峰谷大数据测试集群手劢安装文档，集群使用操作系统CetnOS 6.8 ，使用 Hadoop版本为CDH5.4.5 ，测试集群实现Namenode 高可用(HA),ResourceManager 高 可用(HA) ，作为测试集群里面相关参数配置持续优化中，目前配置仅供参考。 1.环境准备 1.1 准备hadoop 账号 （1 ）准备如下账号 账号/密码：hadoop/hadoop 账号/密码 ：root/hadoop （2 ）创建过程 创建hadop 账号，并创建hadoop 组过程，切入到root 用户先： · 创建用户命令：useradd hadoop · 设置hadop 用户密码命令: passwd hadoop · 新增hadoop 用户组：groupadd hadoop · 添加hadoop 用户到hadoop 组 ：usermod -a -G g 组名 用户名 备注: 删除用户 ：useradel hadoop, 查看用户组：cat /etc/group 详细文档参考《Linux 常用命令参考手册》 1.2 配置静态IP 及hosts 1、修改IP 及Mac （1 ）查看mac 地址：cat /etc/udev/rules.d/70-persistent-net.rules （2 ）修改ifcfg-eth1 ，切换到root 账号，vi /etc/sysconfig/network-scripts/ifcfg-eth1 注意a.文件名要和 ifconfig 的网关名称一样，b.注意修改 mac 地址，c.注意修改成响应的 ip ，以master01 为例，配置如下： DEVICE=eth1 BOOTPROTO=static HWADDR=00:0C:29:2D:70:E8 IPV6INIT=yes NM_CONTROLLED=yes ONBOOT=yes TYPE=Ethernet UUID=c9add972-111d-4ad9-86d1-4989997499b3 IPADDR=22 NETMASK= PREFIX=24 2、修改网关 命令：vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=master01 GATEWAY=54 3、重启网关 切换到ro