离线安装Hadoop环境.docxVIP

Hadoop环境离线安装版本：V1.0作者：Hugh日期：2014.3.27Hadoop环境离线安装11.软件下载31.1.Linux安装包31.2.Hadoop安装包32.Yum源配置42.1.搭建HTTP服务器41.1.Linux源41.1.1.虚拟机镜像源41.1.2.硬盘源51.2.Hadoop源52.Linux环境配置62.1.创建用户62.2.网络配置62.3.修改主机名(hostname)72.4.关闭selinux82.5.子节点互通配置92.6.用户sudo功能设置92.7.关闭防火墙102.8.配置ssh免key(可选)112.9.配置时间同步(需重写)112.9.1.修改时区:112.9.2.使用pdsh同步122.9.3.使用NTP server同步123.Hadoop安装123.1.安装cm123.2.安装CDH14软件下载在离线安装服务器前，需要在内网搭建一台HTTP服务器，以供安装相应的软件。软件需要提前下载到本地，这里不再赘述如何下载。Linux安装包CentOS下载地址：/centos/6/isos/x86_64/如果您有DVD安装包（CentOS-6.5-x86_64-bin-DVD1to2），无需下载。Hadoop安装包CDH: /cdh4/redhat/6/x86_64/cdh/CM: /cm4/redhat/6/x86_64/cm/Impala: /impala/redhat/6/x86_64/impala/官网地址: /注：在下载RPM包是请将noarch目录下面的包一并下载。Yum源配置搭建HTTP服务器默认安装的CentOS系统自带了Apache的HTTP服务，将其启动即可。# servicehttpd start在浏览器中输入：http://localhost验证Linux源在安装Hadoop前，可能会需要除安装系统时带的组件外，还需要其它一些未安装的组件，这时就需要Linux安装包。再创建yum软件源前，请先删除或者备份系统自带的源。# cd/etc/yum.repos.d/# rm –rf*.repo虚拟机镜像源请将镜像加载到虚拟光驱中，在服务器的文件夹中建立软连接，连接到虚拟光驱。CentOS bin安装包包括两个ISO镜像，建议建立两个虚拟光驱，将两个镜像全部加载进来。#cd /var/www/html# ln –s /media/CentOS_6.5_Final centos# ln –s /media/CentOS_6.5_Final_ centos2创建系统软件源# cd /etc/yum.repos.d/在此目录下面创建centos.repo的源，内容如下：硬盘源直接将系统安装盘的内容拷贝到硬盘上，在http服务器目录的文件夹中建立软连接，连接到系统安装盘所在的文件夹上。#cd /var/www/html# ln –s /tmp/CentOS_6.5_Final centos # ln –s /tmp/CentOS_6.5_Final_ centos2创建系统软件源# cd /etc/yum.repos.d/在此目录下面创建centos.repo的源，内容如下：Hadoop源Hadoop源有三部分CDH、CM、Impala，我们借助CM在所有节点上进行安装批量安装Hadoop，并在日后进行管理。Cloudera Manager （CM）是业内第一家使用图形化界面管理Hadoop集群的工具。使用CM可将部署时间从几天缩短到几小时，它提供一个集群范围内的、实时的运行节点及服务视图，它能够用来改变跨集群内的配置。它还包括了报告和诊断工具来观察集群的性能和利用率。将下载下来的CDH、CM、Impala等上传到HTTP服务器，暂定放在tmp文件夹下面，并生成rpm包的系统校验文件repodata文件夹，同时在http目录下面创建软链接。如果没有安装ftp服务，请先安装ftp服务。创建CM源，如果是用CM进行安装Hadoop，只需要创建CM源，安装CM，当用CM进行批量安装时，选择系统本地源时，CM会创建相应的数据源。安装ftp服务（可选）# yum install vsftp创建repo源校验，如果系统没有安装组件createrepo，请先安装。# yum install createrepo# cd/tmp# createrepo CDH# createrepo CM# createrepo Impala创建软链接#cd /var/www/html# ln –s /tmp/CDHcdh4# ln –s /tmp/CMmanager# ln –s /tmp/Impalaimpala创建系统源# cd/etc/yum.repos.d# vimyrepo.re