Hadoop2.5.2,伪分布式安装分析.docx

一、Hadoop概述1.1什么是Hadoop一个开源、高可靠、可扩展的分布式计算框架解决的问题：海量数据的存储（HDFS）海量数据的分析（MapReduce）分布式资源调度（Yarn）产生背景：受Google三篇论文的启发(GFS、MapReduce、BigTable)扩容能力：能可靠地存储和处理千兆字节（PB）数据。成本低：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。高效率：通过分发数据，Hadoop可以在数据所在的节点上并行地处理它们，这使得处理非常的快速。可靠性：Hadoop能自动维护数据的多份副本，并且在任务失败后能自动重新部署。1.2 Hadoop应用场景日志分析基于海量数据的在线应用推荐系统计算广告复杂算法网盘有哪些信誉好的足球投注网站引擎………….1.3Hadoop生态圈1.4 Hadoop核心Hadoop项目主要包括以下四个模块Hadoop Common: 为其他Hadoop模块提供基础设施Hadoop HDFS:一个高可靠、高吞吐量的分布式文件系统Hadoop MapReduce:一个分布式的离线并行计算框架Hadoop YARN:一个新的MapReduce框架，任务调度与资源管理分布式离线计算框架 ---- MapReduceMap任务处理① 读取输入文件内容，解析成key、value对② 重写map方法，编写业务逻辑输出新的key、value对③ 对输出的key、value进行分区。（Partitioner类）④对数据按照key进行排序、分组。相同key的value放到一个集合中。Reduce任务处理 ①对多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点。 ②对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑，对输入的key、value处理，转换成新的key、value输出。③把reduce的输出保存到文件中。二、Hadoop前置环境安装Linux环境准备JDK安装材料：VMware/sw-search-sp/software/d34ff7ffac8/VMware-workstation_full_932.exelinux/centos/6.8/isos/x86_64/CentOS-6.8-x86_64-bin-DVD1.isoCentOS-6.8-x86_64-bin-DVD1.isoJdk1.7jdk-7u67-linux-x64.tar.gz2.1虚拟机搭建安装完成，重新启动2.2设置虚拟机网络环境链接网络，根据你本机网络环境，设置虚拟机服务器中网络环境查看你本地网络环境检查你win环境能否ping通虚拟机使用SecureCRT.exe即可远程连接上服务器2.3关闭防火墙永久关闭：chkconfig iptables off 暂时关闭，重启后失效：service iptables stop [root@hadoop02 ~]# chkconfig iptables off2.4修改主机名[root@hadoop02 ~]# vim /etc/sysconfig/network2.5配置网络映射2.6重启机器[root@hadoop02 ~]# rebootd2.7设置ssh免密码登录[root@hadoop02 ~]# ssh 16需要密码首先生成秘钥：[root@hadoop02 ~]# ssh-keygen -t rsa之后四个回车生成完成，复制秘钥到本机[root@hadoop02 ~]# ssh-copy-id 16测试是否无需免密码登录[root@hadoop02 ~]# ssh 162.8设置java环境，安装JDK检查是否已经安装了JDK，可根据情况卸载本机jdk，重新安装自己的JDK[root@hadoop02 ~]# rpm -qa|grep jdk[root@hadoop02 ~]# rpm -qa|grep java先卸载本机的jdk[root@hadoop02 ~]# rpm -e --nodeps java-1.6.0-openjdk-8-.el6.x86_64[root@hadoop02 ~]# rpm -e --nodeps java-1.7.0-openjdk-9-.el6.x86_64[root@hadoop02 ~]# rpm -qa|grep jdk[root@hadoop02 ~]# rpm -qa|grep java上传你的JDK，可以使用RZ命令上传，也可以用ftp工具进行上传如果你的虚拟机能够链接网络，那么可以用yum 命令进行软件的安装，首先安装RZ命令软件，否则可以到网上下载其安装包/centos/6.8/os/x86_64/Packages/lrzsz-0.12.20-27.1.el6.