Spark作为ETL工具及巨杉数据库的结合应用.pdfVIP

Spark作为ETL工具与SequoiaDB的结合应用 一、前言 ETL一词较常用于数据仓库，但其对象并不仅限于数据仓库 ETL是指将 Extract Transform Load 数据从源系统中经过抽取 （ ）、转换 （ ）、加载 （ ）到目标 ETL OracleDataIntegrator Informatica 数据存储区的过程。常见的 工具有 、 PowerCenter DataStage Kettle DataSprider 、 、 、 等 在大数据应用中，海量的数据及对潜在应用的支持是非常重要的方面，并 体现出与传统应用开发的巨大不同。因此，在选择合适的ETL工具时，除了需 要考虑数据处理的正确性、完整性、工具易用性、对不同数据格式的支持程度之 外，还必须考虑数据处理的效率、处理能力的可扩展、容错性 Spark UCBerkeleyAMPlab HadoopMapReduce 是 开源的类 的通用的并行 计算框架，是一个新兴的大数据处理引擎，主要特点是提供了一个集群的分布式 内存抽象。与Hadoop相比，Spark将中间数据放在内存中，避免频繁写盘，因 此效率更高，更适合于迭代计算；在操作类型、开发语言支持上更丰富；在分布 式数据集计算时通过checkpoint来实现容错 而且，由于Spark的分布式特性， 处理能力的扩展更容易，也更经济 因此，从整体上，Spark作为ETL工具能帮 助企业实现技术和财务的双赢 SequoiaDB是新一代NewSQL数据库，是文档型分布式数据的典型代表 SequoiaDB企业版通过深度集成必威体育精装版的Spark内存计算框架，实现了批处理分析、 流处理等贴近应用的功能 存储层和计算层两层分离的架构，技术互补，是硅谷 大数据新架构的主流，将分布式计算与分布式存储的能力分别发挥到了极致 在 Spark SparkSQL SQL Spark 必威体育精装版版本中， 对标准 的支持也越来越完善，更加体现出 产品的成熟。因此，在SequoiaDB应用中，利用Spark进行数据加工分析是理 想之选 二、功能概述 作为ETL工具，必须具备多样数据源的支持，比如HDFS、HBase、Amazon S3、MongoDB等。在这一点上，Spark支持跟多种数据源的对接，常见的数据 源包括HDFS、Cassandra、HBase、Hive、ALLUXIO （即Tachyon）、AmazonS3； Spark也能从全文检索工具Elasticsearch中读写数据 Spark作为ETL工具能满 足工具功能通用性的要求 以Spark为ETL处理的数据流图如图一所示： Spark ETL 图一 为 数据流图 HDFS Cassandra 在以上数据流图中，可以将存储于 、 等系统中的存量数据 通过Spark提供的接口抽到Spark中，利用Spark的快速处理能力进行处理，比 如数据去重、更新，最后将结构数据存储到巨杉数据库中。整个处理过程中，不 需要将数据以数据文件的形式存盘，加快了处理速度 对于已存储到巨杉数据库中的数据，也可以在Spark 中处理，并将处理后 的数据落到库中 三、环境搭建 3.1Spark环境搭建 Spark运行模式包括Standalone、SparkonYARN、SparkonMesos。三种 模式的主要区别在于使用的资源管理调度工具