大数据研发工程师3.pdfVIP

大数据开发工程师 ： ：S 姓名 XXX 年龄 2 ： ： XXXXXXXXXX 毕业院校 XX 大学 手机 1 E XXXXXXXXXX . ： - Mail: @163com 籍贯 陕西酿 工作经历 ： XXXXXX 信息技术有限公司 大数据开发工程师 2016年 1月2019年 2月 工作技能 ： 1 熟练掌握 HDFS Yarn, MR 、 , MapReduce 工作机制与运行原理 程序调优 Hadoop 集群搭建 高可用 ， ， ， 部署。 2、熟悉Zookeeper 集群搭建与Zookeeper 内部选举机制。 3 熟练掌握 Hive 数仓工具 熟练应用 操作数据仓库 自定义过UDF 函数 熟练窗口函数 用户定 、 ， HQL ， ， ， 义表函数 explode 与其他类型函数 理解 运行流程与相应优化措施 ， HQL 4 熟练使用 Flume 曰志采集工具 熟悉 Flume 的运行原理 有基于多层次 Flume 结构经验 自定义过 、 ， 。 ， Flume 拦截器。 5 熟练掌握Kafka 工作流程搭建过Kafka 集群 熟悉Kafka 的高级与低级API 的差异与Spark Streaming 、 ， 对接时方案的选取。 6 了解 HBase 基于分布式 高并发的列式存储 理解 Hbase 底层数据存储原理与 HRegione 热点问题 、 ， . 。 7 熟悉 Sqoop 数据的导入导出 并结合 Azkaban 任务调度工具使用 、 ， 。 8 熟悉 Scala 编程语言 熟悉 Scala 的隐式转换 熟悉模式匹配和样例类的使用 以及常用算子的使用 、 ， ， ， 。 9 熟悉Spark 的Transformation 算子与Action 算子 熟悉Spark 的架构与提交流程启定义过Spark Sql„ 、 ， 的UDF 函数 熟悉 Spark Streaming 对流的按批次处理 熟悉 DStream 的有状态与无状态的转换 ， ， 。 10、熟悉Java 编程语言 熟悉JVM 内存结构 了解JVM 调优 ， ， 。 11、熟悉 MySql Redies、ElasticSearch 的使用 熟悉 ， SQL。 12 熟悉 Linux 操作系统 熟练 Linux 常用命令 编写过 shell 脚本 使用过 Crontab 、 ， ， ， 。 项目经验 ：