Hadoop 3大数据部署与数据分析实战 课件 04-02-HBase简介.pptxVIP

四、分布式存储数据库

4.2HBase简介

在分布式文件系统上构建一个数据库

会有什么特性/挑战？

1.继承分布式文件系统的特性，海量数据存储，存储成本低，容错性。

2.同时面临分布式文件系统带来的负面特性，块的尺寸较大，流式文件，随机读写能力弱。

4.2HBase简介

构建在分布式文件系统上的数据库需要满足的条件

HBase是构建在HDFS分布式文件系统上，是一个提供高可靠性、高性能、可伸缩、实时随机读写、分布式数据库。它是Google公司BigTable思想的开源实现，具有存储非结构化数据的能力。

4.2HBase简介

HBase简介

HBase是构建在HDFS分布式文件系统上，是一个提供高可靠性、高性能、可伸缩、实时随机读写、分布式数据库。它是Google公司BigTable思想的开源实现，具有存储非结构化数据的能力。

4.2HBase简介

HBase在企业的应用

小米大数据框架主要运用在广告营销系统，有哪些信誉好的足球投注网站和推荐，互联网金融、精细化运营、防黄牛、图片分析和处理领域。其中存储用的较多的是HBase。。

4.2HBase简介

HBase在小米的应用

4.2HBase简介

为什么青睐HBase？

4.2HBase简介

HBase的特性

伸缩性：表可以很“高”（数十亿个数据行），可以很“宽”（数百万个列族）。

自动分区：当表行数增长时，表会自动分裂成Region，并分布到可用节点上。

线性扩展和对于新节点的自动处理：增加节点，指它指向RegionServer，Region自动负载均衡。

普通商用硬件支持

容错：HBase拥有HDFS提供的容错能力。

检索性能：HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。

4.2HBase简介

HBase的数据模型术语

rowkey

info

score

name

sex

age

chn

math

ts1

001

张三

女

24

89

90

ts2

001

张三

女

23

89

90

ts1

002

李四

男

30

91

列族（ColumnFamily）

列限定符（Qualifier）

单元格（Cell）

行(Row)

行键（RowKey）

时间戳（Timestamp）

表（Table）

4.2HBase简介

HBase的数据模型术语详解

（1）表（Table）

HBase采用表来组织数据，表由行和列组成，列又可以划分为若干个列族（ColumnFamily）。

（2）行（Row）

每个HBase表都由若干个行组成，每个行由行键（RowKey）来唯一标识。行键可以是任意字符串的字节数组，按字典序排序，因此行键设计非常重要。访问表中的行有3种方式：通过单个行键访问，通过一个行键的区间来访问，全表扫描。

（3）列族（ColumnFamily）

列族必须在表的定义阶段给出。每个列族可以有一个或多个列限定符（Qualifier），列限定符不需要在表定义时给出，新的列限定符可以随后按需、动态加入。数据按列族分开存储，HBase的列式存储就是根据列族分开存储，每个列族对应一个存储区域。

4.2HBase简介

HBase的数据模型术语详解

（4）列限定符（Qualifier）

列族里面的数据通过列限定符来定位。列限定符不用事先定义，也不需要在不同行之间保持一致。列限定符通常也简称为列（Column）。

（5）单元格（Cell）

单元格由行键、列族、列限定符、时间戳唯一决定。单元格中的数据是没有类型的，全部以字节码形式存储。

（6）时间戳（Timestamp）

每个单元格都保持着同一份数据的多个不同版本，这些版本都采用时间戳来进行区分和索引。时间戳通常也称为版本（Version）。

4.2HBase简介

HBase的数据模型

HBase的数据模型可以看成是一个多维度的（Key-Value）Map。

4.2HBase简介

HBase的数据模型

HBase的数据模型可以看成是一个多维度的（Key-Value）Map。

Table+RowKey

+ColumnFamily

+Column+Timestamp

Key

Value

Cell