Hadoop应用基础篇之二hive原理、部署与应用.docxVIP

Hadoop应用基础篇之二hive原理、部署与应用 李锋 从事软件开始12年，主要的业务领域在航空业与金融业，近几年主要从事大数据领域应用开发与运维 Hive原理与介绍 Hive 架构与介绍 Hive 安装与部署 Hive 基本操作 Hive 基本函数 Hive MapReduce过程 Hive 使用经验 部署phpHiveadmin Hive原理与介绍 Hive 架构与介绍 Apache Hive 介绍 Hive 是一个基于 Hadoop的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据存储于 Hadoop文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 Hive 中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在 HDFS 中的。 Hive 经过对语句进行解析和转换，最终生成一系列基于 Hadoop的 map/reduce 任务，通过执行这些任务完成数据处理。 Hive 诞生于 facebook 的日志分析需求，面对海量的结构化数据， Hive 以较低的成本完成了以往需要大规模数据库才能完成的任务，并且学习门槛相对较低，应用开发灵活而高效。 Apache Hive 架构介绍 Apache Hive 与 Hadoop 关系 Hive 构建在 Hadoop 之上 HQL 中对查询语句的解释、优化、生成查询计划是由 Hive 完成的 所有的数据都是存储在 Hadoop 中 查询计划被转化为 MapReduce 任务，在 Hadoop 中执行（有些查询没有 MR 任务，如：select * from table） Hadoop和Hive都是用UTF-8编码的 Apache Hive 与普通数据库之间的关系 Hive RDBMS 查询语言 HQL SQL 数据存储 HDFS Raw Device or Local FS 索引 无 有 执行 MapReduce Excutor 执行延迟 高 低 处理数据规模 大 小 Hive原理与介绍 Hive 安装与部署 Apache Hive 安装与部署 安装前的准备资源 需要有一套可以用的Hadoop集群。集群的安装部署请参考xx 准备mysql，用来做hive的元数据存储 准备hive-0.10.0-bin版本 安装与部署 Hive的安装请参考 Mysql的安装请参考 Hive原理与介绍 Hive 基本操作 Apache Hive 基本操作 ：创建表 create table 语法： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ [ROW FORMAT row_format] [STORED AS file_format] | STORED BY [ WITH SERDEPROPERTIES (...) ] ] [LOCATION hdfs_path] [TBLPROPERTIES (property_name=property_value, ...)] [AS select_statement] Apache Hive 基本操作 ：创建表 基本例子 create table cto.stock_everydate_detail ( stock_name string, stock_type string, trans_time string, price double, up_or_down_price double, trans_count bigint, trans_nmoney bigint, trans_type string ) PARTITIONED BY(dt String) ROW FORMAT DELIMITED FIELDS TERMINATED BY \t Apache Hive 基本操作 ：创建外部表 基本例子 create table cto.stock_everydate_detail_ex