shark+hive+spark+tachyon+hadoop安装配置(网络版).doc

Shark, Hive,Spark, Tachyon,Hadoop安装配置 (版本V1.0) 201-02-28 文档修改历史 版本号 修改日期 编写 修改内容 V1.0 201-02-28 再哲 youxin57@gmail.ocm 目录 (版本V1.0) 1 1 前言 3 1.1 编写目的 3 1.2 读者对象 3 2 环境 3 2.1 环境 3 2.2 软件信息 3 3 网络和主机设置 4 3.1 设置主机和网络 4 3.2 SSH无密码验证配置 6 4 安装jdk 7 5 安装hadoop 8 5.1 下载软件 8 5.2 配置hadoop 8 5.3 格式化,启动集群 12 6 安装hive 13 6.1 解压hive-0.9.0.tar.gz 14 6.2 配置hive 14 1、配置/etc/profile 14 2、 安装mysql 14 6.3 添加驱动 15 6.4 启动hive 15 6.5 Hive基本命令 15 7 安装 Scala 16 7.1 下载Scala 2.9.3 16 7.2 设置环境变量 16 7.3 拷贝到各个节点上 16 8 安装tachyon 17 9 安装Spark 18 9.1 下载Spark 18 9.2 Spark安装配置 19 9.3 拷贝到节点 20 9.4 验证Spark 20 10 安装Shark 21 10.1 下载Shark 21 10.2 安装配置 21 10.3 拷贝到节点 21 10.4 验证Shark 22 11 常见安装问题 22 12 其他 22  前言 编写目的 编制本文档的目的。 读者对象 开发人员； 测试人员； 维护人员； 。 环境 虚机名称 操作系统 规格 NameNode CentOS6.4_x64 IP: 00 CPU:2*4core 内存:64GB DataNode1 CentOS6.4_x64 IP: 00 CPU:2*4core 内存:64GB DataNode2 CentOS6.4_x64 IP: 00 CPU:2*4core 内存:64GB DataNode3 CentOS6.4_x64 IP: 00 CPU:2*4core 内存:64GB DataNode4 CentOS6.4_x64 IP: 00 CPU:2*4core 内存:64GB 软件信息 软件名称 版本 说明 Jdk 1.7.0_45 /technetwork/java/javase/downloads/jdk7-downloads-1880260.html Java语言编写的程序运行必须依赖的环境工具 Shark 0.8.1 /amplab/shark/releases/tag/v0.8.1 一个开源的为hadoop数据构建SQL查询的引擎 Spark 0.8.1 /downloads.html 一个开源的基于内存的大数据迭代统计运算项目 Tachyon 0.3.0 /amplab/tachyon/releases Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，类似Spark和 MapReduce Hive 0.9.0 /amplab/shark/releases/tag/v0.8.1 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行 H 1.0.4 /releases.html#Download 一款支持数据密集型分布式应用 Scala 2.9.3 /downloads/distrib/files/scala-2.9.3.tgz 一种编程语言，spark则由它编写，spark运行的时候必须依赖它的存在 VMware 10.0 /cn VMware Workstation是VMware公司推出的一款桌面虚拟计算软件。此软件可以提供虚拟机功能，使计算机可以同时运行多个不同操作系统。 网络和主机设置 设置主机和网络 所有节点均是Centos 6.4 64位系统，防火墙均禁用，sshd服务均开启并设置为开机启动。 打开每个服务器，查看ip地址 ifconfig 每个服务器，永久关闭防火墙(非常重要，一定要确认)，并关闭SELINUX [root@DataNode1 local]# chkconfig iptables off [root@DataNode1 local]# service iptables stop [root@DataNode1 local]# vi /etc/selinux/config 配置NameNode 第一步，检查机器名 #h