hive的介绍培训资料.pptxVIP

HIVE的介绍 2 目录 Hive 简介 hive是一个基于Hadoop的数据仓库系统，能够很方便地对存储于Hadoop兼容文件系统中的大数据集进行简单地数据汇总、即席查询、分析等处理。hive提供了一种机制，使用一种类似于SQL的语言（称为HiveQL）来组织数据和对数据进行查询。 同时，这种语言也允许传统的map/reduce程序员以插件的形式编写自定义的mapper和reducer来处理用HiveQL不方便或无法编写的逻辑。 3 目录 4 Hive的技术架构 5 服务端组件 Driver组件：该组件包括Complier、Optimizer和Executor，它的作用是将我们写的HiveQL（类SQL）语句进行解析、编译优化，生成执行计划，然后调用底层的mapreduce计算框架。 Metastore组件：元数据服务组件，这个组件存储hive的元数据，hive的元数据存储在关系数据库里，hive支持的关系数据库有derby、mysql。元数据对于hive十分重要，因此hive支持把metastore服务独立出来，安装到远程的服务器集群里，从而解耦hive服务和metastore服务，保证hive运行的健壮性，这个方面的知识，我会在后面的metastore小节里做详细的讲解。 Thrift服务：thrift是facebook开发的一个软件框架，它用来进行可扩展且跨语言的服务的开发，hive集成了该服务，能让不同的编程语言调用hive的接口。 6 客户端组件 CLI：command line interface，命令行接口。 Thrift客户端：上面的架构图里没有写上Thrift客户端，但是hive架构的许多客户端接口是建立在thrift客户端之上，包括JDBC和ODBC接口。 WEBGUI：hive客户端提供了一种通过网页的方式访问hive所提供的服务。这个接口对应hive的hwi组件（hive web interface），使用前要启动hwi服务。 7 Hive执行流程 8 MR实现过程 10 pageid age 1 25 2 25 pageid age 1 32 2 25 key value 1,32 1 2,25 1 key value 1,25 1 2,25 1 key value 2,25 1 2,25 1 key value 1,25 1 1,32 1 key value count 2 25 2 key value count 1 25 1 1 32 1 map reduce Shuffer Sort 11 目录 适用场景 业务场景 非结构化数据的的离线分析统计。 场景技术特点 为超大数据集设计的计算、扩展能力。 支持SQL like 查询语言。 多表的join操作。 支持非结构化数据的查询、计算。 提供对数据存取的编程接口，支持jdbc、odbc。 12 13 目录 前提条件 14 支持的操作系统 Red Hat：64-bit：RHEL5.7， CentOS 5.7，Oracle Linux 5.6 (UEK), RHEL6.2，CentOS6.2；32-bit：RHEL 6.2，CentOS 6.2 SUSE：64-bit：SLES 11 Ubuntu：64-bit：LTS releases Lucid(10.04) and Precise (12.04) Debian：64-bit：Squeeze(6.0.3) 其他 oracle jdk1.6 以上版本(配置好环境变量) ssh(各个主机之间配置好无密码访问) 集群间各主机已关闭防火墙和selinux。 集群间启动ntp服务，定时同步集群间主机时间。 集群使用相同用户（相同组和user id），相同目录部署 数据节点挂载目录不做raid，可挂载多个文件系统 系统配置 集群间主机名不重复，均应加入到所有主机/etc/hosts文件中 更改系统资源配置：open files (65535),stack size (5120), max user 安装 将安装程序hive-0.10.0-cdh4.3.0.tar.gz拷贝到对应的一台主机如170的/chunk1/demo目录下 使用tar zxvf hive-0.10.0-cdh4.3.0.tar.gz命令进行解压。 重命名文件 mv hive-0.10.0-cdh4.3.0 hive 15 配置（1） 元数据配置 Hive的meta数据支持三种存储方式：本地derby存储、本地mysql存储、远程mysql存储。 本地数据库配置 property namejavax.jdo.op