Hue安装配置实践.pdfVIP

Hue 安装配置实践 Hue 是一个开源的Apache Hadoop UI 系统，最早是由Cloudera Desktop 演化 而来，由Cloudera 贡献给开源社区，它是基于Python Web 框架Django 实现 的。通过使用Hue 我们可以在浏览器端的Web 控制台上与Hadoop 集群进行交互 来分析处理数据，例如操作HDFS 上的数 据，运行MapReduce Job 等等。很早 以前就听说过Hue 的便利与强大，一直没能亲自尝试使用，下面先通过官网给 出的特性，通过翻译原文简单了解一下Hue 所支持的功能特性集 合： • 默认基于轻量级sqlite 数据库管理会话数据，用户认证和授权，可以自 定义为MySQL、Postgresql，以及Oracle • 基于文件浏览器（File Browser）访问HDFS • 基于Hive 编辑器来开发和运行Hive 查询 • 支持基于Solr 进行有哪些信誉好的足球投注网站的应用，并提供可视化的数据视图，以及仪表板 （Dashboard） • 支持基于Impala 的应用进行交互式查询 • 支持Spark 编辑器和仪表板（Dashboard） • 支持Pig 编辑器，并能够提交脚本任务 • 支持Oozie 编辑器，可以通过仪表板提交和监控Workflow、 Coordinator 和Bundle • 支持HBase 浏览器，能够可视化数据、查询数据、修改HBase 表 • 支持Metastore 浏览器，可以访问Hive 的元数据，以及HCatalog • 支持Job 浏览器，能够访问MapReduce Job （MR1/MR2-YARN） • 支持Job 设计器，能够创建MapReduce/Streaming/Java Job • 支持Sqoop 2 编辑器和仪表板（Dashboard） • 支持ZooKeeper 浏览器和编辑器 • 支持MySql、PostGresql、Sqlite 和Oracle 数据库查询编辑器 下面，我们通过实际安装来验证Hue 的一些功能。 环境准备 这里，我所基于的基本环境及其配置情况，如下所示： • CentOS-6.6 (Final) • JDK-1.7.0_25 • Maven-3.2.1 • Git-1.7.1 • Hue-3.7.0 （branch-3.7.1） • Hadoop-2.2.0 • Hive-0.14 • Python-2.6.6 基于上面的软件工具，要保证正确安装和配置。需要说明的是，我们通过Hue 来执行Hive 查询，需要启动HiveServer2 服务： cd /usr/local/hive bin/hiveserver2 否则通过Hue Web 控制无法执行Hive 查询。 安装配置 我新建了一个hadoop 用户，以hadoop 用户，首先使用yum 工具来安装Hue 相 关的依赖软件： sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python- devel python-simplejson sqlite-devel 然后，执行如下命令进行Hue 软件包的下载构建： cd /usr/local/ sudo git clone /cloudera/hue.git branch-3.7.1 sudo chown -R hadoop:hadoop branch-3.7.1/ cd branch-3.7.1/ make apps 上述过程如果没有任何问题，我们就已经安装好Hue。Hue 的配置文件为 /usr/local/branch-3.7.1/desktop /conf/pseudo-distributed.ini，默认的 配置文件不能正常运行Hue，所以需要修改其中的内容，与我们对应的Hadoop 集群 配置相对应。该配置文件根据整合不同的软件，将配置分成多个段，每个 段下面还有子段，便于管理配置，如下所示（省略子段名称）： • desktop • libsaml • libopenid • liboauth • librdbms • hado