“云计算（第三版）”配套之16：第5章Hadoop2.0主流开源云架构（二）.pptxVIP

下载本文档

37
0
约3.36千字
约 10页
2018-06-02 发布于四川
举报
版权申诉

“云计算（第三版）”配套之16：第5章Hadoop2.0主流开源云架构（二）.pptx

1、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
7、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

“云计算（第三版）”配套之16：第5章Hadoop2.0主流开源云架构（二）

5.2 Hadoop 2.0简述 5.2.1 Hadoop 2.0由来 5.2.2 Hadoop 2.0相关项目 5.2.3 Hadoop应用 3 5.2 Hadoop 2.0简述 Hadoop 2.0由来开源组织Apache成立开源有哪些信誉好的足球投注网站引擎项目Nutch Apache实现了Nutch版的NDFS和MapReduce NDFS和MapReduce移出Nutch，形成独立项目，称为Hadoop。工业界称Hadoop 1.X及其以前的版本（0.23.X除外）为Hadoop 1.0，称Hadoop 2.X及其以后版本为Hadoop 2.0 2002年 2006年 4 将Hadoop 2.0部署至集群后，通过调用Hadoop 2.0程序库，能够用简单的编程模型来处理分布在不同机器上的大规模数据集。由于采用客户-服务器模式，Hadoop 2.0很容易从一台机器扩展至成千上万台机器，并且每台机器都能提供本地计算存储和本地计算。考虑到集群中每台机器都可能会出问题（如硬件失效），Hadoop 2.0本身从设计上就在程序层规避了这些问题。 5.2 Hadoop 2.0简述 Hadoop 2.0由来 Hadoop 2.0 分布式存储（HDFS）分布式操作系统（Yarn） 5 5.2 Hadoop 2.0简述 Hadoop 2.0由来 Hadoop至少应当包含分布式存储和分布式计算两个模块，下面给出Hadoop1.0项目模块。 Hadoop Common 联系HDFS和MapReduce的纽带，它一方面为另外两组件提供一些公用jar包，另一方面也是程序员访问其他两模块的接口。 HDFS Hadoop的分布式文件系统。主要提供分布式存储服务。 Hadoop MapReduce 分布式计算框架。主要负责资源管理、任务调度和MapReduce算法实现。 5.2 Hadoop 2.0简述 5.2.1 Hadoop 2.0由来 5.2.2 Hadoop 2.0相关项目 5.2.3 Hadoop应用 7 Hadoop云计算系统 Google云计算系统 Hadoop HDFS Google GFS Hadoop MapReduce Google MapReduce HBase Google BigTable ZooKeeper Google Chubby Pig Google Sawzall 5.2 Hadoop 2.0简述 Google云计算组件和Hadoop及其相关项目之间的对应关系： Hadoop 2.0相关项目 8 5.2 Hadoop 2.0简述 Hadoop 2.0相关项目近几年工业界围绕Hadoop进行了大量的外围产品开发，下图描述了各个产品项目之间的层次关系。 5.2 Hadoop 2.0简述 5.2.1 Hadoop 2.0由来 5.2.2 Hadoop 2.0相关项目 5.2.3 Hadoop应用 10 5.2 Hadoop 2.0简述 Hadoop应用构建大型分布式集群数据仓库数据挖掘 5.3 Hadoop 2.0部署 5.3.1 部署综述 5.3.2 传统解压包部署 13 5.3 Hadoop 2.0部署部署综述安装方式简单易用烦琐易错隐藏了太多细节有助于读者深入理解Hadoop 传统解压包方式 Linux标准方式部署环境不需要与其他节点交互，不需要使用HDFS，直接读写本地的文件系统单机模式伪分布模式分布式模式在一台单机上运行，用不同的进程模仿分布式运行中的各类节点在不同的机器上部署系统 14 5.3 Hadoop 2.0部署部署步骤制定部署规划准备机器准备机器软件环境下载 Hadoop 解压 Hadoop 配置 Hadoop 启动 Hadoop 测试 Hadoop 部署前工作部署Hadoop 1）硬件环境由于分布式计算需要用到很多机器，部署时用户须提供多台机器，至于提供几台，须根据 “部署规划”确定。实际上，完全模式部署Hadoop时，最低需要两台机器（一个主节点，一个从节点），此外，硬件方面，每台机器最低要求有1GB内存，20GB硬盘空间。 5.3 Hadoop 2.0部署准备环境 16 5.3 Hadoop 2.0部署准备环境 2）软件环境大量的实践证明，在Linux环境下使用Hadoop则更加稳定高效须注意的是新装系统（CentOS）的机器不可以直接部署Hadoop 修改机器名添加域名映射关闭防火墙安装JDK 17 5.3 Hadoop 2.0部署关于Hadoop依赖软件 SSH只是给sbin/start-yarn.sh等几个start-x.sh与stop-x.sh脚本使用 Hadoop本身是一堆Java代码，而J