Spark大数据平台应用框架.pdf

胡德禄 2 0 1 6 / 0 5 / 0 6 自我介绍 • 胡德禄先生，拥有5年以上企业级数据处理及互联网大数据处理的工作经验； • 熟悉Spark、Hadoop、Hive、Scala、Python等分布式计算框架及开发工具， 处理过上亿用户规模的用户电商数据，10TB级存储规模的数据量； • 曾负责并参与灵狐科技的大数据处理平台——保罗（Paul）的设计、研发及 优化，访问地址：/； • 同时也负责参与公司的电商大数据分析平台——ECDT的设计、研发及优化， 访问地址：/； • 这些平台的推出，不仅降低了公司内部使用数据挖掘或机器学习的门槛，同 时也提高了工作效率，充分利用大数据技术服务于公司的电商部门及数字营 销部门等，同时也服务于合作的公司，促使进一步深入合作； 大纲 • Spark导论及大数据生态 • Spark vs Hadoop的计算方式 • Spark平台框架及应用场景 • Scala语言特性及常用方法 • 机器学习在Spark平台的应用 • Spark和Scala开发示例演示 什么是大数据BIG DATA ？ 这些年听过的BIG DATA名词 • Hadoop 、HDFS 、MapReduce • Hbase 、Cassandra 、MongoDB 、Zookeeper • Hive 、Pig 、Impala 、Drill 、Mahout • Spark 、Tez 、Storm 、Flink • …… SPARK 导论及大数据生态 HADOOP动物园 DISTRIBUTED COMPUTE FRAMEWORKS: MAPREDUCE 大数据技术框架发展历程 THE DATA SCIENCE VENN DIAGRAM DEVELOPER 2016 2016:在米国挣钱多的编程语言 2016:在数学领域挣钱多的编程 语言 大纲 • Spark导论及大数据生态 • Spark vs Hadoop的计算方式 • Spark平台框架及应用场景 • Scala语言特性及常用方法 • 机器学习在Spark平台的应用 • Spark和Scala开发示例演示 HADOOP HADOOP STRENGTHS • Lowest CapEx system for Big Data. • Excellent for ingesting and integrating diverse datasets. • Flexible: from classic analytics (aggregations and data warehousing) to machine learning. HADOOP WEAKNESSES • Complex administration. • YARN can’t manage all distributed services. • MapReduce: • Has poor performance. • A difficult programming model. • Doesn’t support stream processing. 2013: HADOOP EMBRACE SPARK 速度！速度！速度！ SPARK: MAJOR PERFORMANCE IMPROVEMENTS SPARK VS HADOOP • Hadoop: • Spark： 兄弟！兄弟！兄弟！ MODULES ONE OF THE FASTEST GROWING OS PROJECTS 2015: A GREAT YEAR FOR SPARK 后HADOOP 时代 后HADOOP 时代 SPARK AS THE STANDARD PROCESSING ENGINE A WINNING COMBINATION 大纲 • Spark导论及大数据生态 • Spark vs Hadoop的计算方式 • Spark平台框架及应用场景 • Scala语言特性及常用方法 • 机器学习在Spark平台的应用 • Spark和Scala开发示例演示 SPARK 平台框架 SPARK生态系统 SPARK 平台框架 • Spark Core Engine： – 基于RDD提供丰富的操作接口，利用DAG进行统一的任务规划，使得Spark能够更加灵活处理类似 MapReduce的批处理作业。 • Spark SQL and Dat