“云计算（第三版）”配套之17：第5章Hadoop2.0主流开源云架构（三）.pptxVIP

5.4 Hadoop 2.0体系架构 5.4.1 Hadoop 2.0公共组件Common 5.4.2 分布式文件系统HDFS 5.4.3 分布式操作系统Yarn 5.4.4 Hadoop 2.0安全机制简介 5.4 Hadoop 2.0体系架构 Common定位 Common的定位是其他模块的公共组件，定义了程序员取得集群服务的编程接口，为其他模块提供公用API。 降低Hadoop设计的 复杂性 减少了其他模块之间的耦合性 增强了Hadoop的 健壮性 3 HTTP认证 4 5.4 Hadoop 2.0体系架构 Common功能 提供公用API和程序员编程接口 本地Hadoop库（Native Hadoop Library） 超级用户superuser 服务级别认证 5.4 Hadoop 2.0体系架构 5.4.1 Hadoop 2.0公共组件Common 5.4.2 分布式文件系统HDFS 5.4.3 分布式操作系统Yarn 5.4.4 Hadoop 2.0安全机制简介 6 5.4 Hadoop 2.0体系架构 HDFS定位 高容错 高扩展 高可靠 分布式存储服务 服务访问接口 API接口 管理员接口 为提高扩展性，HDFS采用了master/slave架构来构建分布式存储集群，这种架构很容易向集群中任意添加或删除slave。 7 5.4 Hadoop 2.0体系架构 HDFS体系架构 HDFS架构 HDFS采用master/slave体系来构建分布式存储服务 提高了HDFS的可扩展性又简化了架构设计 优化存储颗粒度 HDFS里将文件分块存储 namenode统一管理所有slave机器datanode存储空间，datanode以块为单位存储实际的数据 真正的文件I/O操作时客户端直接和datanode交互 8 5.4 Hadoop 2.0体系架构 HDFS体系架构 HDFS架构 NameNode 主控制服务器 负责维护文件系统的命名空间（Namespace） 协调客户端对文件的访问 记录命名空间内的任何改动或命名空间本身的属性改动 DataNode 负责它们所在的物理节点上的存储管理 HDFS开放文件系统的命名空间 NameNode 执行文件系统的命名空间操作 决定数据块到DataNode的映射 9 5.4 Hadoop 2.0体系架构 HDFS体系架构 HDFS架构 10 5.4 Hadoop 2.0体系架构 HDFS体系架构 HDFS架构 客户端要访问一个文件 首先 客户端从NameNode获得组成文件的数据块的位置列表 其次 客户端直接从DataNode上读取文件数据 11 5.4 Hadoop 2.0体系架构 HDFS体系架构 NameNode使用事务日志（EditLog）记录HDFS元数据的变化，使用映象文件（FsImage）存储文件系统的命名空间 事务日志和映象文件都存储在NameNode的本地文件系统中。 将新的元数据刷新到本地磁盘的新的映象文件中，这样可以截去旧的事务日志，这个过程称为检查点（Checkpoint） HDFS还有Secondary NameNode节点，它辅助NameNode处理映象文件和事务日志。 NameNode更新映象文件并清理事务日志，使得事务日志的大小始终控制在可配置的限度下 12 5.4 Hadoop 2.0体系架构 HDFS体系架构 一般拓扑：只有单个NameNode节点， 使用SecondaryNameNode或BackupNode节点实时获取NameNode元数据信息，备份元数据。 HDFS典型拓扑 13 5.4 Hadoop 2.0体系架构 HDFS体系架构 商用拓扑：有两个NameNode节点， 并使用ZooKeeper实现NameNode节点间的热切换。 HDFS典型拓扑 14 5.4 Hadoop 2.0体系架构 HDFS体系架构 ZooKeeper集群 JourNalNode集群 HTTPFS 至少三个ZooKeeper实体，用来选举ActiveNamenode。 至少三个，用于与两NameNode交换数据，也可使用NFS。 提供Web端读写HDFS功能。 从架构上看HDFS存在单点故障，无论是一般拓扑还是商用拓扑，新增的实体几乎都是增强NameNode可靠性的组件，当然这里的ZooKeeper集群还可以用于Hbase。 冗余备份 HDFS将每个文件存储成一系列数据块（Block），默认块大小为64MB（可配置）。 为了容错，文件的所有数据块都会有副本（副本数量即复制因子，可配置）。 HDFS的文件都是一次性写入的，并且严格限制为任何时候都只有