Hadoop 3大数据部署与数据分析实战 课件 04-05-Hmaster和regionserver的介绍以及工作原理.pptxVIP

四、分布式存储数据库

4.5Hmaster和regionserver的介绍以及工作原理

4.5Hmaster和regionserver的介绍以及工作原理

HBase的架构

Client

ZooKeeper

HMaster

Region

RegionServer

Region

Region

Region

RegionServer

Region

Region

DFSClient

DFSClient

HDFS

HBase

读写数据

管理和监控RS

4.5Hmaster和regionserver的介绍以及工作原理

HMaster

HMaster负责表和Region的管理工作

（1）管理用户对表结构的操作

（2）实现不同RegionServer之间的负载均衡

（3）Region分裂或合并后，负责重新调整Region的分布。

（4）监控RegionServer的工作状态，对发现故障失效的RegionServer上的Region进行迁移。

4.5Hmaster和regionserver的介绍以及工作原理

RegionServer

（1）维护HMaster分配给它的Region

（2）响应Client对Region的读写请求

（3）负责切分正在运行过程中变的过大的Region（Region分裂）

4.5Hmaster和regionserver的介绍以及工作原理

Zookeeper

ZooKeeper是一个高可用的分布式数据管理和协调框架。

（1）保证集群中至少有一个HMaster处于运行状态

（2）存储HBase的schema、表元数据、Region的寻址入口

（3）实时监控RegionServer的上线和下线信息

4.5Hmaster和regionserver的介绍以及工作原理

RegionServer的工作原理

HRegionServer是RegionServer的封装实现，

它由一个WAL（HLog）、一个BlockCache、多个HRegion组成。

4.5Hmaster和regionserver的介绍以及工作原理

RegionServer的工作原理

（1）WAL（HLog）

WAL即WriteAheadLog，在早期版本中称为HLog，它是HDFS上的一个文件，如其名字所表示的，所有写操作都先保证将数据写入这个Log文件后，才会真正更新MemStore，最后写入HFile中。

HLog

数据写入

写缓存

MemStore

HFile

3

2

1

4.5Hmaster和regionserver的介绍以及工作原理

RegionServer的工作原理

（2）BlockCache

BlockCache是一个读缓存。HBase将数据预读取到内存中，以提升读的性能。

读MemStore

读StoreFile（HFile）

不存在

在MemStore中吗

在BlockCache中吗

不存在

读BlockCache

存在

存在

4.5Hmaster和regionserver的介绍以及工作原理

RegionServer的工作原理

HFile

Store

StoreFile

StoreFile

HFile

MemStore

HFile

Store

StoreFile

MemStore

HRegion

HLog

（WAL）

（3）HRegion

HRegion是一个表中的一个Region在一个HRegionServer中的表达。

Region由一个或者多个Store组成，每个Store保存一个列族（ColumnsFamily）。

每个Store又由一个MemStore和0至多个StoreFile组成。

MemStore存储在内存中，StoreFile存储在HDFS