大数据开发简历模板.pdfVIP

孙青松简历 个人信息 姓 名 XXX 工作经验： 3年 性 别 男 手 机： XXXXXXXXXX 学 历 本科 电子邮件： XXXXXXXXXX0163.com 求职意向 意向 大数据开发工程师 状况 离职 ： ： 地点： ：面议 北京 薪资 工作经历 2016/2—至今 北京礼物说科技有限公司 大数据开发工程师 专业技能 1•熟练掌握 SparkSql SparkStreaming、Spark Core, 理解 Spark 工作机制及 Spark 任务的执行流程。 2.熟练掌握 Hadoop 分布式集群安装、部署、搭建和配置，能够熟悉应用 Hadoop 相关工具 进行相关应用开发。 3.熟悉 MapReduce, Hdfs 工作机制和运行原理。 4.熟练使用 Kafka 实现集群分布式高吞吐量通信机制，同时借助 Zookeeper 建立生产 者和消费者的关系，实现负载均衡和持久化。 5.熟悉 Linux 环境和常用命令以及简单 Shell 脚本编写。 6.熟悉 HBase 的系统架构，了解 RowKey 设计，了解 HBase 优化。 7.熟悉 Hive 工作原理，数据仓库基本建立和 Hive 优化。 8.熟悉开源日志收集系统 Flume,能够在不同场景实现日志收集工作。 9.熟悉 Sqoop 的数据导入导出，实现 MySql 和 Hive 之间的数据传输。 10.熟悉 Oozie 任务调度工具和 Azkaban 工具实现定时调度任务。 11.熟练使用 Java 和 Scala 语言编程、熟练使用 MySql 语句。 项目经历 项目一 ：礼物说数仓项目 软件架构 ： Tomcat + Flume + Hive + + Nginx + Hadoop + Zookeeper + Mysql + Spark Sqoop+Azkaban 开发环境 : Idea + Maven + Git ， ， 公司发展迅速 对数据进行统一整理 清洗 项目描述 ： 针对数据整体统一规划管理 、 、过 滤、去重、存储，便于以后的日常维护工作和项目开展。 责任描述 在本次项目中主要负贵并参与数据仓库的流程设计，实现数仓的各层， ： 分别是 0DS 层(原始数据层 、DWD 层 明细数据层 、DWS 层 (服务数据层)和 ADS 层(数据应用层 ， ） （ ） ） 其中 DWS 层中包含事实层、维度层、宽表层，为了达到拿空间换时间的目的，由事实层中 的事实表和维度层的维度表关联形成宽表层。 技术要点 ： 1.Flum 收集 Web 节点日志信息，根据每个 Event 的Body 里存的数据，可以对 Log 进行判 断，设定不同的 Header 值，然后再经过选择器，根据 Header 中的某个值来决定走哪个 Channel,将清洗完的数据存入 Hive 中，作为原始数据。 . 编写脚本， ， 2 使用 Shell 每日定时的通过脚本将数据加载到 0DS 层