Hive用户指南_V11.docVIP

Hive 用户指南V1.1 目录 1. Hive基本概念 3 1.1 Hive简介 3 1.1.1 什么是Hive 3 1.1.2 为什么使用Hive 3 1.1.3 Hive的特点 3 1.2 Hive架构 4 1.2.1 架构图 4 1.2.2 基本组成 4 1.2.3 各组件的基本功能 5 1.3 Hive与Hadoop的关系 5 1.4 Hive与传统数据库对比 6 1.5 Hive的数据存储 7 2. Hive基本操作 8 2.1 DDL操作 8 2.1.1 创建表 8 2.1.2 修改表 10 2.1.3 显示命令 11 2.2 DML操作 11 2.2.1 Load 11 2.2.2 Insert 13 2.2.3 SELECT 15 2.3 表关联 18 2.4 Hive函数 19 2.4.1 内置运算符 19 2.4.2 内置函数 22 2.5 Hive Shell基本操作 28 2.5.1 Hive命令行 28 2.5.2 调用python、shell语言 29 Hive基本概念 Hive简介 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 为什么使用Hive 面临的问题 人员学习成本太高 项目周期要求太短 我只是需要一个简单的环境 MapReduce如何搞定 复杂查询好难 Join如何实现 为什么要使用Hive 操作接口采用类SQL语法，提供快速开发的能力。 避免了去写MapReduce，减少开发人员的学习成本。 扩展功能很方便。 Hive的特点 可扩展 Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。 延展性 Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。 容错 良好的容错性，节点出现问题SQL仍可完成执行。 Hive架构 架构图 基本组成 用户接口包括 CLIJDBC/ODBC、WebGUI。 元数据存储通常是存储在关系数据库如 mysql , derb中解释器、编译器、优化器、执行器用 HDFS 进行存储，利用 MapReduce 进行计算各组件的基本功能 用户接口CLI、JDBC/ODBC和WebGUI。其中，CLI为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。 元数据存储Hive 将元数据存储在数据库中，目前只支持 mysql、derby，下一版本会支持更多的数据库。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行Hive的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成 Hive与Hadoop的关系 Hive与传统数据库对比 查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。 数据格式。Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile）。由于在加载数据的过程中，不需要从用户数据格式到 Hive 定义的数据格式的转换，因此，Hive 在加载的过程中不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的 HDFS 目录中。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储，因此，数据库加载数据的过程会比较耗时。 数据更新。由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive 中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO ...? VALUES 添加数据，使用 UPDATE ... SET 修改数据。 索引。之前已经说过，Hiv