Hadoop平台搭建简介.pptxVIP

HADOOP简介;目录;HADOOP相关内容简介;Hadoop两个重要的子项目 HDFS（Hadoop Distributed Filesystem)Hadoop分布式文件系统 设计前提与目标 （1）硬件错误是常态而不是异常（错误检测，自动恢复） （2）一次性写，多次读。 （3）移动计算比移动数据更划算。对于大文件来说，移动计算比移动数据的代价要低，当数据量特别大的时候效果更加明显。;HDFS体系结构 主/从(Master/Slave)体系结构 ;NameNode 负责记录文件是如何分割成数据块的，以及这些数据块分别被存储到哪些数据块上。它的主要功能是对内存及I/O进行集中管理。一般不执行计算，以免程序降低服务器的性能。缺点：单点宕机。 Secondary NameNode 每个集群都有一个，不接收或记录任何实时数据变化，但与 NameNode进行通信，定期保存HDFS元数据快照。如果NameNode 发生问题，及时作为备用NameNode使用，将宕机时间和数据的损 失降低到最小。;JobTracker 应用程序提交到集群后由它决定哪个文件被处理，为不同的task分配节点。每个集群只有一个JobTracker,一般运行在集群的Master节点上。 DataNode 集群每个服务器都运行一个DataNode后台程序，这个后台 程序负责把HDFS数据块读写到本地的文件系统。 TaskTracker 与DataNode相结合，负责执行具体的task。;MapReduce 处理海量数据的并行编程模型和计算框架。 采用“分而治之”的思想，把对大规模数据集的操作，分 发给一个主节点管理下的各分节点共同完成，然后通过整合 各分节点的中间结果，得到最终的结果。简单的说，MapRe Duce就是“任务的分解与结果的汇总”。 ;Hadoop 平台搭建的具体过程;（2）安装虚拟机; 注：虚拟机取名（自己随便定义），虚拟机安装位置选择（自己选择）; 注1：如图所示进行选择 注2：桌面版本最少给6G的磁盘空间; 注：虚拟机CD上挂在Ubuntu系统 注：打开node3开始安装 ;注意事项 （1）安装的过程中断开网络连接，以免边安装边下载软件导致速度太慢 （2）桌面版Ubuntu推荐用语言中文，服务器版本推荐用语言英文 服务器安装教程： /d_000244608.shtml （到此为止：LINUX系统安装完毕，接下来在系统上装软件） ;软件安装;虚拟上安装ssh(secure shell：专为远程登录会话和其他网络服务提供安全性的协议） 命令行中：指令sudo apt-get install openssh进行安装 指令dpkg –list|grep ssh进行查看 openssh-client 和openssh-server都有即为成功。 失败解决办法：输入指令sudo apt-get update（更新软件） 输入指令sudo apt-get upgrade（升级软件） 输入指令sudo apt-get install openssh重装 ;Winscp的使用 在本地机上（非虚拟机）用winscp437setup.exe安装Winscp工具。然 后连接虚拟机，如下图： 友情提示：主机名为虚拟 机的IP地址（命令行中指 令ifconfig即可看到）用户 名和密码是虚拟机的。 ;安装JDK 打开WinScp将本地机上的jdk-6u19-linux-i586.bin拷贝到虚拟机上，用 指令chmod u+x jkd-6u19-linux-i586.bin更改文件权限为可执行。