第四章 大数据交互式OLAP多维分析开发实践-4.2分布式数据仓库Hive.pptxVIP

第四章

大数据交互式

OLAP多维分析开发实践

大数据交互式分析技术栈分布式数据仓库HiveHiveSQL操作实践分布式计算框架SparkSQL分布式计算框架Flink关系型API大数据交互式OLAP多维分析实践

4.2分布式数据仓库Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过SQL类语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，非常适用于数据仓库的统计分析。Spark未出现之前，企业中部署的大数据分析平台，组合使用了Hadoop的HDFS、MR、Hive、Pig、HBase、Mahout，从而满足不同业务场景需求。分布式数据仓库Hive

Hive体系框架及基本原理（1/2）Hive所有的命令和查询都会进入Driver模块，通过该模块对输入进行解析、编译，并对查询进行优化，然后生成执行计划。执行计划通常包括启动多个MapReduce任务或Spark任务来执行。Hive提供了命令行界面CLI（Command-LineInterface）和轻量级的JDBC客户端Beeline在大型Hadoop集群中，通常会有网关机（GatewayNode）用于部署Hive的客户端工具，例如HiveCLI，用户可以通过这些工具远程登录并提交Hive查询任务。Hive主要处理的数据文件存储在HDFS中，HDFS由NameNode进行管理，负责维护文件系统的元数据和文件块的位置。Metastore（元数据存储）是Hive的一个关键组件，通常是一个独立的关系型数据库实例（例如MySQL），用于存储表模式、分区信息以及其他系统的元数据。在Hadoop1.x版本中，Hive通过和JobTracker通信来初始化MapReduce任务；在当前主流的Hadoop2.x及以上版本中，Hadoop集群的资源的管理和任务的调度执行，则由YARN框架中的ResourceManager和NodeManager负责。

Hive体系框架及基本原理（2/2）由驱动模块中的编译器，对用户输入的SQL语句进行词法和语法解析，将HQL语句转换成抽象语法树（ASTTree）的形式因为AST结构复杂，不方便直接翻译成MR算法程序。语法分析器遍历抽象语法树，转化成QueryBlock查询单元。QueryBlock是一条最基本的SQL语法组成单元，包括输入源、计算过程、和输入三个部分逻辑计划生成器遍历QueryBlock，生成OperatorTree（操作树），它由很多逻辑操作符组成，如TableScanOperator、SelectOperator、FilterOperator、JoinOperator、GroupByOperator和ReduceSinkOperator等，它们在MR阶段完成某一特定操作Hive驱动模块中的逻辑优化器对OperatorTree进行优化，变换OperatorTree的形式，合并多余的操作符，减少MR任务数、以及Shuffle阶段的数据量Hive驱动模块中的物理计划生成器，遍历优化后的OperatorTree，根据OperatorTree中的逻辑操作符生成需要执行的MR任务启动Hive驱动模块中的物理优化器，对生成的MR任务进行优化，生成最终的MR任务执行计划最后由Hive驱动模块中的执行器，对最终的MR任务执行输出Hive中SQL查询转化成MapReduce作业过程当Hive接收到一条HQL语句后，HQL首先进入驱动模块，由驱动模块中的编译器解析编译，并由优化器对该操作进行优化计算，然后交给执行器去执行

数据仓库一般会将数据模型分为3层：操作数据层、公共维度模型层和应用数据层。其中公共维度模型层包括明细数据层和汇总数据层，可以分成两层单独表述，也可以合为一层表述。Hive在数据仓库中的应用（1/3）操作数据层（OperationalDataStore，ODS）：面向对接的数据源建立的一个接入层，也叫作“贴源层”。ODS几乎将数据无处理地存放到数据仓库中。数据同步：将结构化数据增量或者全量同步。结构化：将非结构化数据（如日志）进行结构化处理并存储。保存历史、清洗：根据业务需求和审计要求保存历史数据、清洗数据。

公共维度模型层（CommonDimensionalModel，CDM）：存放明细事实数据、维表数据和公共指标汇总数据，其中明细事实数据、维表数据一般根据ODS数据加工生成；公共指标汇总数据根据明细事实数据和维表数据加工生成。Hive在数据仓库中的应用（2/3）CDM包括明细数据层（DetailedWorkforceDi