CDH安装手册技巧.docVIP

CDH安装手册 前言 1.1. 什么是CDH 因为Hadoop采用Apache开源协议Cloudera’s Distribution Including Apache Hadoop），Hortonworks的HDP，MapR的MapR产品等。 1.2. 为什么使用CDH 社区版本的Hadoop具备很多的优点，例如：完全的开源免费，活跃的社区，文档资料齐全。但由于Hadoop的生态圈过于复杂，包括Hive、Habase、Sqoop、Flume、Spark、Hue、Oozie等，需要考虑版本和组件的兼容性；同时集群部署、安装、配置较为复杂，需要手工调整配置文件后，对每台服务器的分发配置分发操作，较为容易出错；同时缺少配套的运行监控和运维工具，需要结合ganglia、nagois等实现运行监控，运维成本较高。 而Cloudera的CDH版本为目前 Express版本完全免费不涉及昂贵的商业授权费用 1.3. 环境 机器名 IP地址 操作系统 BigDataServer1 15 CentOS 7 BigDataServer2 16 CentOS 7 BigDataServer3 17 CentOS 7 环境准备 2.1. 关闭防火墙 停止firewall # systemctl stop firewalld.service 禁止firewall开机启动 # systemctl disable firewalld.service 增加机器、IP映射 # vi /etc/hosts 15 BigDataServer1 16 BigDataServer2 17 BigDataServer3 :wq 2.3. 设置SSH免登录 在BigDataServer1上执行： # ssh-keygen -t rsa # ssh-copy-id -i BigDataServer2 # ssh-copy-id -i BigDataServer3 2.4. 设置时间同步 CentOS 7默认安装的时间同步软件为Chrony不再是NTP应该需要调整Chrony的配置1上增加外网时间服务器地址vi /etc/chrony.conf server ? ?????????????iburst :wq # systemctl start chronyd.service # systemctl enable chronyd.service 在BigDataServer2BigDataServer3上分别设置 vi /etc/chrony.conf server ?BigDataServer1 ?????????????iburst :wq # systemctl start chronyd.service # systemctl enable chronyd.service 参考/article-4764-1.html 2.5. 系统优化 禁用交换分区 # sysctl -w vm.swappiness=0 # echo 0 /proc/sys/vm/swappiness 禁用透明大页面 # echo never /sys/kernel/mm/transparent_hugepage/defrag # echo echo never /sys/kernel/mm/transparent_hugepage/defrag /etc/rc.local 2.6. JDK安装 从/zh_CN/download/的网站上下载JDK8的Linux安装程序，并上传到服务器（三台服务器均需要进行安装）。 因在后续的安装中，需要安装Presto进行学习，Presto要求采用JDK8以上版本，因此在本安装示例采用的是JDK8u65的版本，jdk-8u65-linux-x64.tar.gz。 # yum list installed | grep jdk # yum -y remove java-1.6.0-openjdk.x86_64 # yum -y remove java-1.7.0-openjdk.x86_64 2.6.2. 解压安装包 解压到/opt安装目录下 # tar -zxvf jdk-8u65-linux-x64.tar.gz –C /opt # ln -s /opt/jdk1.8.0_65 /opt/jdk # mkdir /usr/java # ln -s /opt/jdk /usr/java/default 备注：其中/usr/java/default软链接的创建尤为重要，否则Spark将无法安装完成。 2.6.3. 修改环境变量 修改/etc/profile文件 # vi /etc/profile export JAVA_HOME