第二章 大数据离线处理开发实践-2.1 大数据离线批处理技术栈.pptxVIP

第二章

大数据离线处理开发实践

1.大数据离线批处理技术栈2.分布式文件系统HDFS3.分布式计算框架MapReduce4.分布式资源管理组件YARN5.分布式内存计算框架Spark6.金融行业“羊毛党”识别案例实践

2.1大数据离线批处理技术栈

大数据离线批处理应用场景大部分企业早期建设的大数据系统一般均用于面向海量数据的离线批处理场景组合使用了Hadoop的HDFS、MapReduce、Hive、Pig、HBase、Mahout，来满足对海量数据离线处理的不同业务需求面向经营分析报表计算场景的大数据系统架构图（早期）早期离线批处理技术架构

大数据离线批处理技术栈演进（1/3）初期大数据离线批处理是以Hadoop体系中的MapReduce为核心，采用批处理模式，以此满足离线处理场景需求，实现大规模数据集的并行运算狭义的Hadoop生态包括HadoopCommon、HDFS、MapReduce和YARN等广义的Hadoop生态包括ZooKeeper、Hive、HBase等它们共同构成了初期大数据离线批处理方案基于MapReduce的离线批处理方案基于MapReduce的离线批处理方案

大数据离线批处理技术栈演进（2/3）基于内存计算的Spark框架，支持有向无环图（DirectedAcyclicGraph，DAG）的分布式并行计算的编程框架，因为减少了迭代过程中的数据落地，提高了数据处理效率Spark提供多种数据集操作，包括转换操作map、filter、flatmap、sample、groupByKey、reduceByKey、union、join、cogroup、mapvalues、sort和partionby等；以及行动操作包括collect、reduce、lookup和save等。用户可以命名实体、物化计算结果，控制各个处理节点之间中间结果的存储、分区等基于Spark框架的离线批处理方案基于Spark的离线批处理方案

大数据离线批处理技术栈演进（3/3）Flink因其能够支持流处理和批处理两种解决方案，而逐渐取代MapReduce与Spark在Hadoop生态中的地位Flink与传统流处理和批处理的解决方案不同，它将流处理看成无界输入数据的任务，而将批处理看成有界输入数据的任务，然后将二者统一起来，形成一个以任务为驱动的双模式处理框架基于Flink框架的流计算与批处理计算的双模式方案基于Flink的流计算与批处理计算的双模式方案