Hive理論Hive基于MapReduce框架的数据仓库解决方案ZN.doc

Hive-基于Map-Reduce框架的数据仓库解决方案 Ashish Thusoo, Joydeep Sen Sarma, Namit Jain, Zheng Shao,Prasad Chakka, Suresh Anthony, Hao Liu, Pete Wyckoff, Raghotham Murthy Facebook Data Infrastructure Team Translator Qichen 介绍 在商业智能领域（BI，business intelligence），海量数据的搜集和分析发展尤为迅速，意味着使用传统的数据仓库解决方案会变得极其昂贵。Hadoop是一个流行的开源框架，实现了map-reduce，使用普通硬件就能对海量数据进行存储和处理。然而，map-reduce编程模型较底层，需要开发者编写很多程序，这些程序又难于维护和复用。 本文将展示Hive，它是一个基于Hadoop之上的开源数据仓库解决方案。Hive提供了与SQL类似的一种查询语言HiveQL，用于支持查询表达并能将其转化为map-reduce任务在hadoop中执行。HiveQL还支持在查询中插入自定义的map-reduce脚本。HiveQL包含了一个类型系统，用来支持表中出现的原始类型、类似于数组和map的集合类型以及由他们嵌套组成的类型。可以扩展其基本IO库进行自定义格式的数据查询。Hive还包括了一个系统目录(system catalog) Hive-Metastore，此系统提供模式（schemas）和统计，用于数据挖掘和查询优化。在Facebook公司，Hive数据仓库中存有数千张容量至少为2PB的表，有超过100人使用其做报告和查询分析之用。 本文其它章节的描述如下： 第2节描述Hive数据模型和HiveQL使用实例 第3节描述Hive体系结构及概览查询的各阶段 第4节对演示进行了说明 在第5节我们讨论未来的工作并以此结束 HIVE数据库 数据模型 Hive中的数据可划分为如下类型： 表（Tables） 类似于传统数据库中的表。表中的数据存储在HDFS目录中。Hive为用户提供了一个框架，用于访问由DDL语句创建的具有基本数据类型格式的表（或分区）。用户还可以通过定义新的序列化和去序列化方法（又称为SerDe’s）的方式提供相应的抽取器（extractors）和加载器（loaders），用以访问新数据类型格式的表。表和新数据格式的关联关系被存储在系统目录(system catalog)中，在编译和执行查询的时候被Hive自动使用。Hive还提供了默认的序列化格式，默认的格式采用了压缩和惰性去序列化。此外，Hive还支持扩展表，这些表的数据可能存储在HDFS，NFS和本地目录中。 分区（Partitions） 每张表可以有1或多个分区用以划分数据，划分后的数据存放到表所在目录下的子目录中。比如，表T的数据存储在目录/wh/T，现按列dsctry=US对其进行划分，那么划分后的数据将会存储在目录/wh/T/dsctry=US中。 桶（Buckets） 分区中的数据还能依次分成不同的桶，桶的划分基于表中各列的哈希值（Hash），桶做为分区目录中的一个文件存储的。 Hive支持原始的列类型（integers，floating point numbers， generic strings，dates和booleans）和嵌套的集合类型：array和map。用户也可以定义自己的类型。 查询语言 HiveQL是一种很像SQL的查询语言。事实上，SQL查询所包含select，project，join，aggregate，union all和from语句下的子查询也适用于HiveQL。Hive支持数据定义（DDL）语句，能用来创建，删除和修改表，还允许用户从外部源加载数据以及分别通过加载（load）和插入（insert）数据操作语句（DML）将查询得到的结果插入到Hive的表中。HiveQL目前不支持更新（updating）和删除（deleting）表中的行。 HiveQL还支持多表插入，用户可以对相同的输入数据使用一个HiveQL语句进行多维查询，Hive通过共享输入数据优化了这种查询。 HiveQL也易于扩展，用户能插入用java编写的自定义的列转换和聚合功能。此外HiveQL允许用户嵌入自定义map-reduce脚本，这些脚本可以用任何语言进行编写，并且都是简单的基于行（row-bashed）书写的，比如从标准输入读入行以及输出行到标准输出。此特点就能将行转化字符串。 我们省略了很多的细节，有关HiveQL语言的更多描述可以参考其手册。 实例：StatusMeme