Gaia大数据平台安装部署手册（ word 版）.docxVIP

Gaia 大数据平台安装部署手册 目录 目的 1 术语 1 软件硬件环境说明 1 软件版本 1 逻辑部署架构 2 硬件环境及规划 2 操作系统配置 3 修改服务器名及 HOSTS 文件 3 安装 JAVA 4 新增用户 4 SUDO 无密码验证配置 5 关闭防火墙和 SELINUX 5 搭建时间服务器及时间同步 5 安装 ntp 5 配置 ntp 6 设置 SSH 无密码登录 7 安装 openssh 7 配置 openssh 7 设置最大并发数 8 安装并设置 YUM 源 9 数据库 MYSQL 搭建(非必选) 9 CLOUDERA 聚群搭建 10 RPM 与 PARCEL 包镜像站点搭建 10 镜像站点搭建 10 CM 管理数据库 MYSQL 搭建 12 搭建 Mysql 数据库 12 创建 Database 12 CM 部署 CDH 集群组件安装 13 CM(cloudera manager console) 安装 13 Cloudera-manager-server 配置数据库 13 启动及停止 CM 14 Hadoop 集群配置 14 修改 jdk java.security 配置 28 拷贝 hbase-site.xml 文件 28 hbase mapreduce 静态环境配置 28 GAIA 管理控制台搭建 29 核心服务数据库 MYSQL 搭建 29 数据导入 29 上传 GAIA 平台程序 29 运行参数配置 29 管理控制台启动及停止 29 GAIA 核心服务搭建 30 ZOOKEEPER 集群搭建 30 Zookeeper 配置 30 启动 Zookeeper 服务 30 核心服务参数配置 30 核心服务启动及停止 31 XREPORT 应用搭建 31 数据导入 31 程序发布 31 QA.常见问题 31 HIVE METASTORE 需要 MYSQL 数据库连接 JAR 包 31 SQOOP 导数据需要数据库连接 JAR 包 31 无法安装 CM AGENT 端，删除各节点的路由 31 设置各节点不使用交换区 32 目的 本文描述 Gaia 大数据平台安装部署方法。 术语 CM: Cloudera Manager （Cloudera 公司专有的 Hadoop 集群管控平台） CDH: Cloudera Distributed Hadoop（Cloudera 公司重新打包发布的 Hadoop 版本） Impala: Cloudera 开源的实时查询项目，与 Hive 共用元数据 软件硬件环境说明 软件版本 软件 软件 版本 CDH 5.6 MySQL mysql-5.1.66 JDK 1.7 Operating System RedHat6.4 1 逻辑部署架构 Load Load Balance http Gaia console cluster zookeeper cluster receive active ip Gaia console Gaia console receive active ip heatbeat Gaia kernel cluster 外部 应用 access active ip Gaia kernel Gaia kernel access active ip cloudera cluster 硬件环境及规划 国网共有 6 台服务器，规划如下： 服务器名 IP 软件 gaia-host 05 MySQL CDH repos CM Gaia kernel Gaia Console gaia-hd001 06 CDH gaia-hd002 07 CDH gaia-hd003 08 CDH gaia-hd004 09 CDH 操作系统配置 修改服务器名及 hosts 文件 以修改服务器的服务名： root 用户登录 1、修改过 hostname, gaia-host 为例说明： #vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=mad-master 2、修改 hosts 文件，增加其他主机 ip， #vi /etc/hosts localhostlocalhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 21 mad-master 23 mad-hd01 24 mad-hd02 25 mad-hd03 27 mad-standby 28 mad-hd0