Spark内核.pdfVIP

Spark 内 了解Spark 了解RDD的 了解Spark 如何快的 的术架构 概念跟作 的程序编写 入门Spark Spark • • • hadoop Storm 搞定所有！ SPARK 术架构 访问和接入 处理引擎 存储 资源虚拟化，集群资 源管理 SPARK是一个用批处理(BATCH) 来各种计算场景的一种框架，各种计算场景指的是离线计算，实时计算等等，spark 由 于批处理的特性，该算作准实时的处理框架 SPARK 的心是一种做RDD的数据结构，也就是弹性分布式数据集 通过RDD的各种转换，判断依赖系，生成DAG的执行图，来代频繁的MR RDD的实在函数式编程中是一种做MONAD的东西，大家有趣以去了解一 在SPARK行编程，就是利用同的RDD带的函数行集合的交集，并集，差集，等等一系列的作 SPARK 用场景 Spark streaming … Spark SQL Spark core BLinkDB Spark MLlib Spark Spark R Graph RDD Resilient Distributed Datasets Resilient Distributed RDD以相互依赖如果RDD的每个分 最多能被一个Child RDD的一个分使 RDD的本质就是包含了一个或者多个 用，则称之narrow dependency若 Partition数据的集合，一个Partition包含 多个Child RDD分都以依赖，则称之 着多个数据的集合，是一个dataset，每 wide dependency 同的作依据 次对RDD的作实际就是粗粒度的对每 特性，能会产生同的依赖例如 个Partition行相同的作 map作会产生narrow dependency， 而join作则产生wide dependency 1. 它是在集群节点的的已分的集合对象 2. 通过并行转换的方式来创建如map, filter, join, etc 3. 失败自动建 4. 以制储别内磁盘等来行用 5. 必须是序列化的 6. 是静态类型的 1. RDD能从久储或通过Transformations作产生，相比于分布式共享内DSM以 更高效实容错，对于丢失部分数据分需据它的lineage就新计算出来，而需要 做特定的Checkpoint 2. RD