大数据hadoop高薪直通车课程课件.pdfVIP

大数据Hadoop高薪直通车课程

1.5天：hadoop2.x

第一阶段【大数据基础Hadoop2.x】



初识Hadoop2.x

大数据应用发展、前景

Hadoop2.x概述及生态系统

Hadoop2.x环境与测试



深入Hadoop2.x



HDFS文件系统的架构、功能、设计



HDFSJavaAPI使用



YARN架构、集群管理、应用



MapReduce编程模型、Shuffle过程、编程调优



高级Hadoop2.x



分布式部署Hadoop2.x



分布式协作服务框架Zookeeper



HDFSHA架构、配置、测试

HDFS2.x中高级特性



YARNHA架构、配置



Hadoop主要版本（CDH、HDP、Apache）

实战应用



以【北风网用户浏览日志】数据进行实际的分析

原数据





数据的预处理（ETL）



数据的分析处理（MapReduce）

1天：hive

第二阶段【大数据仓库Hive】



Hive初识

Hive功能、体系结构、使用场景



Hive环境、初级使用



Hive原数据配置、常见交互方式



Hive深入使用

Hive中的表、外部表、分区表

Hive数据迁移



Hive常见查询（select、where、distinct、join、groupby）



Hive内置函数和UDF编程



Hive高级进阶

Hive数据的和压缩

Hive常见优化（数据倾斜、压缩等）

结合【北风网用户浏览日志】实际案例分析

依据业务设计表

数据、导入（ETL）

使用HiveQL，统计常见的指标

1天：sqoop、oozie、hue、flume

第三阶段【大数据协作框架】



数据转换工具Sqoop



Sqoop功能、使用原则



将RDBMS数据导入Hive表中（全量、增量）



将HDFS上文件导出到RDBMS表中



文件收集框架Flume



Flume设计架构、原理（三大组件）



Flume初步使用，实