Sawzall语言的实现和扩充.docVIP

 Sawzall 语言的实现和扩充 王海波* （北京邮电大学网络技术研究院，北京 100876） 5 10 摘要：在互联网信息爆炸性增长的背景下，MapReduce 作为一种解决随之而来的大规模数据 处理问题的成熟方案被广泛应用于分布式 grep、web 访问日志分析、文档聚类、机器学习等 领域。MapReduce 借鉴了函数是编程的思想，将数据处理过程划分为两个可以并行化处理的 阶段：Map 过程和 Reduce 过程，从而向使用者屏蔽了底层的分布式实现。但是。使用 MapReduce 编程不同于传统的编程方式，复杂的多数据源分析，基本操作的重复实现普遍存在，为避免 这些问题，一些特定领域语言被提出，如 Google 的 sawzall、Yahoo 的 Pig 等。本文简要对 Sawzall 语言进行了介绍，通过源码分析了其工作机制、扩充方法，这些分析可以为实现基 于不同 MapReduce 系统的 Sawzall 实现提供参考。 关键词：程序语言；MapReduce；特定领域语言；Sawzall 语言 中图分类号：TP312 15 Implementation and Expansion of Sawzall Language Wang Haibo (State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing 100876) 20 25 30 35 40 45 Abstract: As a solution to processing the large-scale data, MapReduce is widely used in distributed grep, analysis of web access log, document clustering, machine learning and other fields in the backgound of the explosive growth in Internet information. Inspired by the map and reduce functions commonly used in functional programming, the data processing is divided into two stages of parallel processing: Map Process and Reduce process in MapReduce model. Programming with MapReduce is different from traditional programming, it has itself complexity such as multi-source data analysis, re-implemention of the basic operations and so on, to avoid these problems, some domain-specific languages have been proposed, such as Googles sawzall, Yahoos Pig, etc. The Sawzall language is introduced in this paper and the analysis about its working mechanism and expansion method provides a brief reference for the implementation of Sawzall based on different MapReduce systems. Keywords: Programming language; MapReduce; DSL; Sawzall Language 0 引言 Web2.0 时代的到来，使得互联网深入到社会生活的方方面面，广大互联网用户成为网 络信息是主要来源，网民产生的信息规模以惊人的速度增长。在典型的互联网应用中，如搜 索引擎、电子商务、SNS 等，需要处理的数据量常以 TB 记，传统的通用结构化的数据库处 理模型无法满足这种要求。为应对这些问题，MapReduce 模型提出并在实践中取得良好效 果，除了著名的开源软件 Hadoop，各大型的互联网公司也纷纷在内部实现了 MapReduce 系 统，用于处理海量的日志分析、数据挖掘等。MapReduce 模型在简化了分布式处理的