参考介绍hadoophbase方案-pacemakerdrbd.pdfVIP

HadoopHbase备份方案

--PacemakerDRBD

需求

实现namenode的双机热备，保证HadoopHbase的高可用性（HA）。

方案描述

当主namenode所在服务器宕机的时候，其服务和数据可迅速，完整，无

缝的迁移到备份namenode从而保证hadoop集群的高可用性，持续的向外提

供服务。

测试环境

虚拟机5台（1G内存，40G硬盘，ubuntu操作系统，Hadoop-0.20.2，

Zookeeper-3.3.2，Hbase-0.20.6）

hadoop1-virtual-machine110.10.11.250主(Master)namenode

hadoop2-virtual-machine510.10.11.152datanode

hadoop3-virtual-machine110.10.11.160datanode

hadoop4-virtual-machine510.10.11.184secondarynamenode

hadoop5-virtual-machine110.10.12.25备份(Slave)namenode

测试步骤

1．部署好Hadoop，Zookeeper，Hbase集群环境和PacemakerDRBD

环境（包括HA资源的配置），详情见部署文档。

2．启动集群，同时在备份（Slave）namenode上启动HMaster服务（Hbase

本身的备份方案），数据。

3．关闭namenode主节点所在机器（模拟namenode主节点宕机）。

4．Slave节点自动切换成Master节点（切换时间大概在30s左右），此时

集群处于不可状态。

5．自动切换成功后，测试集群，集群处于safemode（只能读不能写）

状态，才恢复正常使用,数据未丢失。

6．启动原Master节点（模拟namenode故障节点恢复）。该节点自动加

入集群，且此时的角色由原来的Master变成了Slave，集群正常向外提供服务。

7．回到步骤2

8．关闭namenode主节点网络（模拟namenode主节点网络故障）。

9．Slave节点自动切换成Master节点（切换时间大概在30s左右），此时

集群处于不可状态。

10．自动切换成功后，测试集群，集群处于safemode（只能读不能写）

状态，才恢复正常使用，数据未丢失。

11．启动原Master节点（模拟namenode故障节点网络恢复）。该节点自

动加入集群，且此时的角色由原来的Master变成了Slave，集群正常向外提供

服务。

问题及可行性分析

1.该方案可以实现Master/Slave自动切换，同时可以保证数据的完整性，切

换过程中不会有数据