《Hbase基础知识》课件.docxVIP

Hbase基础知识

HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

1.结构介绍

HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。

与FUJITSUCliq等商用大数据产品不同，HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用HadoopMapReduce来处理HBase中的海量数据；GoogleBigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。

上图描述HadoopEcoSystem中的各层系统。其中,HBase位于结构化存储层，HadoopHDFS为HBase提供了高可靠性的底层存储支持，HadoopMapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制。

此外，Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。

2.模型

主要讨论逻辑模型和物理模型

（1）逻辑模型

Hbase的名字的来源是Hadoopdatabase，即hadoop数据库。

主要是从用户角度来考虑，即如何使用Hbase。

（2）物理模型

主要从实现Hbase的角度来讨论

3.访问接口

1.NativeJavaAPI，最常规和高效的访问方式，适合HadoopMapReduceJob并行批处理HBase表数据

2.HBaseShell，HBase的命令行工具，最简单的接口，适合HBase管理使用

3.ThriftGateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据

4.RESTGateway，支持REST风格的HttpAPI访问HBase,解除了语言限制

5.Pig，可以使用PigLatin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapReduceJob来处理HBase表数据，适合做数据统计

6.Hive，当前Hive的Release版本尚没有加入对HBase的支持，但在下一个版本Hive0.7.0中将会支持HBase，可以使用类似SQL语言来访问HBase

HBase数据模型TableColumnFamily

RowKey

Timestamp

ColumnFamily

URI

Parser

r1

t3

url=http://

title=

t2

host=com

t1

r2

t5

url=http://

content=每天…

t4

host=com

Oslash;RowKey:行键，Table的主键，Table中的记录默认按照RowKey升序排序

Oslash;Timestamp:时间戳，每次数据操作对应的时间戳，可以看作是数据的versionnumber

Oslash;ColumnFamily：列簇，Table在水平方向有一个或者多个ColumnFamily组成，一个ColumnFamily中可以由任意多个Column组成，即ColumnFamily支持动态扩展，无需预先定义Column的数量以及类型，所有Column均以二进制格式存储，用户需要自行进行类型转换。

TableRegion

当Table随着记录数不断增加而变大后，会逐渐分裂成多份splits，成为regions，一个region由[startkey,endkey)表示，不同的region会被Master分配给相应的RegionServer进行管理：

-ROO