Spark内存管理及缓存策略研究-中国云计算.PDF

Vo1. 44 No. 6 第 44 卷第6 期 计算机科学 2017 年 6 月 COMPUTER SCIENCE June2017 Spark 内存管理及缓存策略研究 孟红涛余松平刘芳肖侬 (国防科学技术大学计算机学院 长沙 410072) 摘 要 Spark 系统是基于 Map-Reduce 模型的大数据处理框架。 Spark 能够充分利用集群的内存，从而加快数据的 处理速度。 Spark 按照功能把内存分成不同的区域:Shuffle Memory 和 Storage Memory , Unroll Memory，不同的区域 有不同的使用特点。首先，测试并分析了 Shuffle Memory 和 Storage Memory 的使用特点。 RDD 是 Spark 系统最重 要的抽象，能够缓存在集群的内存中;在内存不足时，需要淘汰部分 RDD 分区。接着，提出了一种新的 RDD 分布式权 值缓存策略，通过 RDD 分区的存储时间、大小、使用次数等来分析 RDD 分区的权值，并根据 RDD 的分布式特征对需 1 要淘汰的 RDD 分区进行选择。最后，i.m 悦和分析了多种缓存策略的性能。 大数据 ， Spark 内存管理，RDD缓存，缓存策略 关键词 中固法分类号 TP311 文献标识码 A DOI 10. 11896/j. issn. 1002-137X. 2017. 06. 005 Research on Memo叮 Management and Cache Replacement Policies in Spark MENG Hong-tao YU Song-ping LIU Fang XIAO Nong CSchool of Computer ,National University of Defense Technology ,Changsha 410072 ,China) Abstract Spark is a big data processing framework based on Map-Reduce. Spark can make full use of cluster memory , thus accelerating data processing. Spark divides memory into Shuffle Memory ,Storage Memory and Unroll Memoryac cording to their functions. These different memory zones have different characteristics. The features of Shuffle Memory and Storage Memory were tested and analyzed. RDD (Resilient Distributed Datasets) is the most important abstract in spark ,which can cache in cluster memory. When the cluster memory is insufficient ,Spark must select some RDD parti tions to discard to make room for the ne