Hadoop部署接口与体系结构分析.pptxVIP

知识点HADOOP部署及接口

3Hadoop大家族1Hadoop体系结构2Hadoop访问接口HADOOP部署及接口

Hadoop1.0是指MapReduce+HDFS内核主要由HDFS和MapReduce两个系统组成，其中MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）三部分组成。Hadoop2.0是指MapReduce+HDFS+Yarn内核主要由HDFS、MapReduce和YARN三个系统组成，其中YARN是一个资源管理系统，负责集群资源管理和调度，MapReduce则是运行在YARN上的离线处理框架。Hadoop体系结构

针对Hadoop1.0单NameNode制约HDFS的扩展性问题，提出HDFSFederation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展，同时彻底解决了NameNode单点故障问题。针对Hadoop1.0中的MapReduce在扩展性和多框架支持等方面的不足，它将JobTracker中的资源管理和作业控制分开，分别由ResourceManager（负责所有应用程序的资源分配）和ApplicationMaster（负责管理一个应用程序）实现，即引入了资源管理框架Yarn。Yarn作为Hadoop2.0中的资源管理系统，它是一个通用的资源管理模块，可为各类应用程序进行资源管理和调度，不仅限于MapReduce一种框架，也可以为其他框架使用，如Tez、Spark、Storm等。Hadoop体系结构

Hadoop体系结构

有的是WebUI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。系统8080，80用于tomcat和apache的端口。ssh的端口WebUI访问和监控Hadoop系统运行状态Daemon缺省端口配置参数HDFSNamenode50070dfs.http.addressDatanodes50075dfs.datanode.http.addressSecondarynamenode50090dfs.secondary.http.addressBackup/Checkpoint?node*50105dfs.backup.http.addressHadoop访问接口

Daemon缺省端口配置参数协议用于NIPC:?ClientProtocolFilesystem?metadata?operations.Datanode50010dfs.datanode.addressCustom?Hadoop?Xceiver:?DataNodeand?DFSClientDFS?data?transferDatanode50020dfs.datanode.ipc.addressIPC:InterDatanodeProtocol,ClientDatanodeProtocol

ClientProtocolBlock?metadata?operations?and?recovery产品服务缺省端口参数范围协议说明HBase?Master60000hbase.master.portExternalTCPIPCM.portExternalTCPHTTPRegionServer60020hbase.regionserver.portExternalTCPIPC产品服务缺省端口配置参数协议Hadoop?YARN?ResourceManager8032yarn.resourcemanager.addressTCPResourceManager8030yarn.resourcemanager.scheduler.addressTCPResourceManager8031yarn.resourcemanager.resource-tracker.addressTCP内部端口相关产品端口YARN(Hadoop2.0)缺省端口产品端口Hadoop访问接口

ApacheHadoopApache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构ApacheHBase高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群ApacheSqoop用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，