Hadoop环境配置与实验报告.pdf

研究生课程考试成绩单 （试卷封面） 院 系 计算机科学与工程 专业 计算机科学与技术 学生姓名 李富豪 学号 131440 课程名称 计算机新技术综合实践 授课时间 2014 年 4 月 至 2014 年6 月 周学时 1 学分 2 简 （1） 小组答辩过程表述很清晰； 要 （2 ） 实验结果的演示表明搭建的系统以及编写的程序很好地满 足功能要求； 评 （3 ） 报告内容很好地符合要求。 语 考核论题 总评成绩 （含平时成绩） 备注 任课教师签名： 日期： 2014.7 注：1. 以论文或大作业为考核方式的课程必须填此表，综合考试可不填。“简要 评语”栏缺填无效。 2. 任课教师填写后与试卷一起送院系研究生秘书处。 3. 学位课总评成绩以百分制计分。 2 目录 1 集群部署介绍 3 1.1 Hadoop 简介 3 1.2 环境说明 3 1.3 网络配置 3 1.3.1 编辑当前机器名称 3 1.3.2 修改当前机器IP 4 1.3.3 配置hosts 文件 4 1.4 所需软件 6 1.4.1 JDK 软件 6 1.4.2 Hadoop 软件 6 2 SSH 无密码验证配置 6 2.1 安装和启动SSH 协议 6 2.2 配置Master 无密码登录所有Salve 6 2.3 配置所有Slave 无密码登录Master 9 3 Java 环境安装 9 3.1 安装JDK 10 3.2 配置环境变量 10 3.2.1 编辑/etc/profile文件 10 3.2.2 添加Java 环境变量 10 3.2.3 使配置生效 10 3.3 验证安装成功 10 3.4 安装剩余机器 11 4 Hadoop 集群安装 11 4.1 安装hadoop 11 4.1.1 在/usr/hadoop创建tmp文件夹 11 4.1.2 配置/etc/profile 11 4.1.3 重启/etc/profile 12 4.2 配置hadoop 12 4.2.1 配置hadoop-env.sh 12 4.2.2 配置core-site.xml 文件 12 4.2.3 配置hdfs-site.xml 文件 13 4.2.4 配置mapred-site.xml 文件 14 4.2.5 配置masters 文件 14 4.2.6 配置slaves 文件 15 4.3 启动及验证 16 4.3.1 格式化HDFS 文件系统 16 4.3.2 启动hadoop 16 4.3.3 验证hadoop 17 4.3.4 关闭hadoop 19