“云计算（第三版）”配套之21：第6章Hadoop2.0大家族（二）.pptxVIP

2 6.3 Hbase 谷歌发表论文BigTable Powerset开启了Hbase项目 Powerset将Hbase交给Apache托管 Hbase成为Apache顶级项目 Hbase是基于Hadoop的开源分布式数据库，它以Google的BigTable为原型，设计并实现了具有 高可靠性 高性能 列存储 可伸缩 实时读写 的分布式数据库系统。 HBase适合于存储非结构化数据 Hbase是基于列的而不是基于行的模式 Hbase在Hadoop之上提供了类似于BigTable的能力 6.3 Hbase 6.3.1 Hbase简介 6.3.2 Hbase入门 4 6.3 Hbase Hbase数据模型 数据的逻辑模型 数据的物理模型 的形式存储结构化数据 数据库一般以 的形式存储数据 Hbase也以 用户对数据的组织形式 Hbase里数据在HDFS上的具体存储形式 5 Hbase数据模型 逻辑模型 列族 概念 元素 时间戳 行和列确定的存储单元 6 行健 时间戳 列族contents 列族anchor 列族mime n.www t9   anchor:= CNN   t8   anchor:my.look.ca= CNN.com   t6 contents:html=html…   mime:type=text/html t5 contents:html=html…     t6 contents:html=html…     6.3 Hbase Hbase数据模型 表中仅有一行数据，行的唯一标识为n.www，对这行数据的每一次逻辑修改都有一个时间戳关联对应。 表中共有四列：contents:html，anchor:，anchor:my.look.ca，mime:type，每一列以前缀的方式给出其所属的列族。 7 6.3 Hbase Hbase数据模型 通过单个 行健访问 给定行健的 范围访问 全表扫描 行键是数据行在表中的唯一标识，并作为检索记录的主键。 Hbase提供了两个版本的回收方式： 对每个数据单元，只存储指定个数的必威体育精装版版本 1 保存最近一段时间内的版本（如七天），客户端可以按需查询 2 元素由行健、列（列族:限定符）和时间戳唯一确定，元素中的数据以字节码的形式存储，没有类型之分。 物理模型 概念模型中的一个行进行分割 并按照列族存储 Hbase数据模型 表中的空值是不被存储的 如果没有指名时间戳，则返回指定列的必威体育精装版数据值 可以随时向表中的任何一个列添加新列，而不需要事先声明 8 行健 时间戳 列族contents n.www t6 contents:html=html… t5 contents:html=html… t3 contents:html=html… 行健 时间戳 列族anchor n.www t9 anchor:= CNN t8 anchor:my.look.ca= CNN.com 行健 时间戳 列族mime n.www t6 mime:type=text/html 6.3 Hbase Hbase数据模型 9 Hbase采用master/slave架构 主节点运行的服务称为HMaster 从节点服务称为HRegionServer 底层采用HDFS存储数据 Hbase架构 client HMaster 6.3 Hbase Hbase架构 1）Client Client端使用Hbase的RPC机制与HMaster和HRegionServer进行通信 2）ZooKeeper 存储了ROOT表的地址、HMaster的地址和HRegionServer地址 3）HMaster Hbase主节点，将Region分配给HRegionServer，协调HRegionServer的负载并维护集群状态 4）HRegionServer HRegionServer主要负责响应用户I/O请求，向HDFS文件系统中读写数据 12 6.3 Hbase 6.3.1 Hbase简介 6.3.2 Hbase入门 14 6.3 Hbase Hbase部署 15 6.3 Hbase Hbase接口 Hbase提供了诸多访问接口，下面简单罗列各种访问接口。 Native Java API Hbase Shell Thrift Gateway 最常规和高效的访问方式，适合Hadoop MapReduce Job并行批处理Hbase表数据。 Hbase的命令行工具，最简单的接口，适合管理、测试时使用。 利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问Hbase表数据。 16 6.3 Hbase Hbase接口 Hbase提供了诸多访问接口，下面简单罗列各种访问接