第7章 Hive原理与应用-12-16.pptx

;;Hadoop案例开发;Hive原理与应用;;7.1.1数据仓库简介;;;7.1.3Hive的主要特点;7.1.4Hive下载;点击“Downloadareleasenow!”，选择某个下载站点链接，进入下载页面，如图7-4所示，可以看到不同版本的Hive下载链接，根据实际需要选择合适的版本即可。这里选择Hive-3.1.3进行安装和部署，如图7-5、图7-6所示。;Hive的安装过程即将下载的压缩包解压缩至能够访问Hadoop集群的某台机器上。例如本节将apache-hive-3.1.3-bin.tar.gz解压缩至Hadoop集群的node1节点的/opt/module文件夹中。

如图7-7所示，将Hive安装文件解压缩至/opt/module/apache-hive-3.1.3-bin路径。;7.1.5Hive安装包;7.1.5Hive安装包;7.2Hive组件简介;7.2Hive组件简介;7.2.1Hive元数据管理;7.2.2HiveMetastore服务;7.2.2HiveMetastore服务;7.2.3HiveHiveServer2服务;;7.3Hive启动方式;7.3.1HiveMetastore部署模式;HiveCLI是一个基于命令行的接口，它直接连接到Metastore服务获取元数据信息，在本地编译和执行HiveQL语句，提交MapReduce或Spark作业到相应的框架。HiveCLI不支持多用户认证、授权、并发和会话管理，也不支持JDBC/ODBC驱动。HiveCLI适合单用户场景和测试环境，但是不适合生产环境和多用户场景。

Beeline是一个基于JDBC的客户端，它通过Thrift接口连接到HiveServer2服务，然后把HiveQL语句提交给HiveServer2服务处理，由HiveServer2服务连接到Metastore服务获取元数据信息，编译和执行HiveQL语句，提交MapReduce或Spark作业到相应的框架。Beeline支持多用户认证、授权、并发和会话管理，也支持JDBC/ODBC驱动。Beeline适合生产环境和多用户场景，也适合使用如DataGrip的其他工具连接到Hive。;Hive使用Metastore服务API为客户端提供元数据信息的访问。HiveMetastore由下列两个基本单元组成。

（1）提供对其他ApacheHive服务的Metastore访问服务。

（2）与HDFS存储分开的Hive元数据的磁盘存储。

针对MetaStore服务的部署模式，Hive将Metastore的运行模式区分为：

“嵌入模式”

“本地模式”

“分布式模式”

Hive启动时，会根据不同的用户接口启动不同的进程。如使用HiveCLI命令行界面，根据Metastore的部署模式，可能会启动一个Metastore服务进程或者直接连接到嵌入式Derby数据库。;7.3.1.1嵌入式元数据存储模式;1.初始化元??据存储数据库

如图7-17所示，Derby数据库作为元数据的存储需要初始化。初始化的目的是创建存储Hive元数据的表，该元数据存储数据库的初始化命令如下所示。

执行初始化命令后，可以通过以下几个方面来验证Derby是否初始化成功。首先，查看命令的输出结果，是否有错误或异常信息。其次，查看Hive目录下是否生成了metastore_db文件夹，这是Derby数据库存储元数据的位置，如图7-18所示。再次，查看Hive目录下是否生成了hive-schema-2.3.0.derby.sql文件，这是初始化时执行的SQL脚本，包含了创建元数据表的语句。;2.通过HiveCLI访问Hive

使用以下命令，启动HiveCLI客户端，对Hive的安装结果进行验证。如下述代码所示，在控制台输入命令“hive”，启动HiveCLI，并执行简单的SQL语句，如showdatabases;、showtables;等。如果能正常运行并返回结果，如图7-19所示，说明Hive运行成功，Derby初始化成功。;3.beeline客户端访问Hive服务

嵌入模式下，如果尝试多个HiveCLI会话连接时会产生错误。如果需要使用多会话模式，需要通过下述命令独立启动HiveServer2服务，使用beeline客户端对Hive进行访问。

如图7-20所示，当启动HiverServer2服务时，会将Driver、Metastore，以及与Derby数据库的连接同时在一个JVM进程中启动。使用beeline时，需要指定连接URL、用户名和密码，启动示例如下。;7.3.1.2本地元数据存储模式;7.3.1.2本地元数据存储