一种提升MapReduce程序性能的方法.pdfVIP

中国科技论文在线 延迟反序列化：一种提升MapReduce 程序 性能的方法 黄佳* 5 （北京邮电大学计算机学院，北京 100876 ） 摘要：基于Hadoop 提供的MapReduce 并行计算框架，用户可以方便地实现并行计算。通常， 用户在MapReduce 程序中将输入数据解析成为由特定分隔符分隔的字符串，反序列化和序 列化的代价过大，同时，计算过程中数据类型的转换也会产生额外的开销。本文通过将一种 延迟反序列化技术整合到MapReduce 程序中，实现了MapReduce 程序计算性能较为明显的 10 提升。该技术的核心在于只在必要的时候才将记录中特定的字段反序列化为相应的Java 对 象。 关键词：计算机应用；Hadoop ；MapReduce ；反序列化 中图分类号：TP391 15 Lazy Deserialization ：A way to improve the performance of MapReduce Huang Jia (School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876) 20 Abstract: MapReduce, a parallel computation frame that is based on High-availability distributed object-oriented platform (Hadoop), could be used to provide convenient parallel computations. In general, the input record is parsed into a string separated by specific separators in the MapReduce. The cost of the deserialization and serialization procedure, in terms of run time, is high. In addition, the format conversion in the computation requires extra run time cost. In this paper, we propose a method 25 to integrate the Lazy Deserialization technique to the MapReduce program, which could significantly improve its performance. The key point is to deserialize the fields of record into corresponding Java objects only when it is necessary. Key words: Computer Application Technology;Hadoop;MapReduce;Deserialization 30 0 引言 信息爆炸式增长，迫切要求企业能及时、准确地处理海量数据，同时，要求数据处理系 统能够有很好的可扩展性。 [1]Hadoop 是一个能够对大量数据进行处理的分布式系统基础框架，具有可靠、高效、 可伸缩的特点，同时，因为它依赖于社区服务器，所以还具有低成本的特点，另外，Hadoo