hadoop之impala简单使用.pdfVIP

hadoop 之 impala 简单使用 上个月参与了公司的大数据接口平台项目，其中就使用到了 impala 提供实时查询接口。而且，在使用当中还遇到了关于 impala 版本的问题，主要是 sql 语法上的差异，目前已经到了 2.4 了，而我们公司集群环境使用的版本是 1.3。 下面，笔者将分以下几个步骤进行介绍。 一、impala 的基本概念与原理 Impala 是 Cloudera 在受到 Google 的 Dremel 启发下开发的实时交互 SQL 大数据查询工具，Impala 没有再使用缓慢的 Hive+MapReduce 批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator 和 Query Exec Engine 三部分组成），可以直接从 HDFS 或 HBase 中用 SELECT、JOIN 和统计函数查询数据， 从而大大降低了延迟。 我们可以看看 cloudera manager 上 impala 相关的服务，如下图： Impala 架构: Impalad: 与 DataNode 运行在同一节点上，由 Impalad 进程表示，它接收客户端的查询请求（接收查询请求的 Impalad 为 Coordinator ，Coordinator 通过 JNI 调用 Java 前端解释 SQL 查询语句，生成查询计划树，再通过调度器把执行计划分 发给具有相应 数据的其它 Impalad 进行执行），读写数据，并行执行查询，并把结果通过网络流式的传送回给 Coordinator ， 由Coordinator 返回给 客户端。同时 Impalad 也与 State Store 保持连接，用于确定哪个 Impalad 是健康和可以接受新的 工作。在 Impalad 中启动三个ThriftServer: beeswax_server （连接客户端），hs2_server（借用Hive 元数据）， be_server （Impalad 内部使用）和一个 ImpalaServer 服务。 1 / 8 Impala State Store: 跟踪集群中的 Impalad 的健康状态及位置信息，由 statestored 进程表示，它通过创建多个线程来处 理 Impalad 的注册订阅和与各 Impalad 保持心跳连接，各 Impalad 都会缓存一份 State Store 中的信息，当 State Store 离线后（Impalad 发现 State Store 处于离线时，会进入 recovery 模式，反复注册，当 State Store 重新加入集群后，自动 恢复正常，更新缓存数据）因为 Impalad 有 State Store 的缓存仍然可以工作 ，但会因为有些Impalad 失效了，而已缓存数 据无法更新，导致把执行计划分配给了失效的 Impalad ，导致查询失败。 CLI: 提供给用户查询使用的命令行工具（Impala Shell 使用 Python 实现），同时 Impala 还提供了 Hue ，JDBC ，ODBC 使用接口。 Impala 的查询处理流程： 二、impala 的常用命令 首先，我们在装有 impalad 服务的节点上执行 impala-shell ，便可进入命令行。 执行 show databases;可以看到： 2 / 8 这个 qyk_test 数据库是我们在上一篇博文中通过 hive 创建的。我们只需执行 INVALIDATE METADATA;便可将 hive 的元数 据同步到 impala ，这个在后面的博文中还会进行介绍。 执行 show tables;可以看到： 下面，我们执行 select * from user_info;可以看到： 还可以执行 create table user_info_copy as select * from user_info;直接将查询出来的数据入到一张新表中去，如下： 3 / 8 然后，我们执行 drop table user_info_copy;便可删除临时表，如下： 好了，基本的命令就说到这儿了。 三、impala 分页 impala 中的分页是通过