非常实用的hadoop安装手册探究.docx

非常实用的hadoop安装手册说明本文档里的服务器，目录，账户等都为示范，可以根据各自的需求进行修改，只需所有配置上下文保持一致即可。文档主要描述了面向处理大数据环境的hadoop+hive+hbase组合的安装配置，目的为减少搭建环境时能少走点弯路和起到点初级阶段的参考作用；大数据的处理博大精深，要深入了解其中精髓，需一起学习探讨。版本准备下载地址：/cdh5/cdh/5/ 根据cdh的版本号来下载，下载的安装包都同一个cdh版本号，这样确保所有安装包没有版本兼容问题，否则会有各种各样的报错，可少走不少弯路。如下图：图 下载页面最终收集到的所需要的安装版本文件如下图所示：图下载后的版本示意环境准备环境准备由于条件有限，物理机器只有2台，就配置基于台2物理机的hadoop集群，用2个节点作为示例： 1个Master，1个Salve，节点之间局域网连接，可以相互 ping 通。一台作为hadoop的namenode，一台作为datanode。如下：0 jskhjfapp01作为namenode——master1 jskhjfapp01作为datanode——slaves操作系统为 Linux Redhat.Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。其实应该还应该有1个Master机器，用来作为备用，以防止Master服务器宕机，还有一个备用马上启用。后续经验积累一定阶段后补上一台备用Master机器。目录结构创建账号：使用root登陆所有机器后，2台创建xieyt用户（后面都以该账号作为实验，大家可以根据自己的需要创建），密码也为xieytuseradd xieytpasswd xieyt此时在/home/下就会生成一个xieyt目录，目录路径为/home/xieyt，如图：创建相关的目录定义需要数据及目录的存放路：mkdir /home/xieyt/source定义代码及工具存放的路径：mkdir /home/xieyt/tools定义数据节点存放的路径到跟目录下的hadoop文件夹, 这里是数据节点存放目录需要有足够的空间存放mkdir /home/xieyt/hdfsmkdir /home/xieyt/tmpmkdir /home/xieyt/log设置可写权限chmod -R 777 /home/xieyt定义 java安装程序路径mkdir /home/xieyt/jdk最后如图所示：安装jdk上传jdk1.6以上版本，建议1.7以上。这里使用jdk1.8的版本：解压jdk： tar –xvf jdk-8u11-linux-x64.tar.gz解压后，配置环境变量：cd ls -avi .bash_profile在末尾添加：export JAVA_HOME=/home/xieyt/jdk/jdk1.8.0_11export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarexport PATH=$JAVA_HOME/bin:$PATH如图：当然，这几行如果使用root用户，添加在/etc/profile文件末尾效果也一样。退出重新登录后即可见生效，可以执行java –version来查看是否按照java成功：如上步骤，在所有参与hadoop集群的集群上都要安装。修改主机名该步骤主要便于理解机器意义，可根据需要进行，后续配置如果使用ip，不使用主机名称，则可以跳过不配置。1.连接到主节点0，修改 network ，(root用户下执行)执行 vi /etc/sysconfig/network ，修改 HOSTNAME=jskhjfapp01连接到主节点1，修改 network ，(root用户下执行)执行 vi /etc/sysconfig/network ，修改 HOSTNAME=jskhjfapp022.修改hosts文件，(root用户下执行)执行cd /etc 命令后执行vi hosts ，在行末尾添加：0 jskhjfapp011 jskhjfapp02执行hostname jskhjfapp01执行exit后重新连接可看到主机名以修改OK其他节点也修改主机名后添加 Host, 或者host文件可以在后面执行scp覆盖操作。配置SSH无密码登录SSH 无密码原理简介：a.首先在jskhjfapp01上生成一个密钥对，包括一个公钥和一个私钥，并将公钥复制到所有的slave(jskhjfapp02) 上。b.然后当 master 通过SSH连接slave时， slave就会生成一个随机数