Waterdrop：构建在Spark之上的简单高效数据处理系统.docxVIP

Waterdrop：构建在Spark之上的简约高效数据处理系统 以一个线上案例为例，引见如何使用Spark Streaming统计Nginx后端日志中每个域名下每个形态码每分钟消灭的次数，并将结果数据输出到外部数据源Elasticsearch中。其中原始数据已经通过Rsyslog传输到了Kafka中。 数据读取 从Kafka中每隔一段时间读取数据，生成DStream 具体方法参考Spark Streaming + Kafka Integration Guide。 数据清洗 日志案例 通过Split方法从非结构化的原始数据message中猎取域名以及形态码字段，并组成便利聚合的结构化数据格式Map(key - value) 数据聚合 利用Spark供应的reduceByKey方法对数据进行聚合计算，统计每分钟每个域名下的每个错误码消灭的次数，其中mapRdd是在清洗数据阶段组成的RDD 数据输出 利用Spark供应的foreachRDD方法将结果数据reduceRdd输出到外部数据源Elasticsearch 问题 我们的确可以利用Spark供应的API对数据进行任意处理，但是整套规律的开发是个不小的工程，需要肯定的Spark基础以及使用阅历才能开发出稳定高效的Spark代码。除此之外，项目的编译、打包、部署以及测试都比较繁琐，会带来不少得时间成本和学习成本。 除了开发方面的问题，数据处理时可能还会遇到以下不行躲避的麻烦： 数据丢失与反复 任务积累与延迟 吞吐量低 应用到生产环境周期长 缺少应用运转形态监控 因而我们开头尝试愈加简约高效的Spark方案，并试着处理以上问题 一种简约高效的方式 -- Waterdrop Waterdrop 是一个格外易用，高功能，能够应对海量数据的实时数据处理产品，构建于Apache Spark之上。 Waterdrop 项目地址：https://interestinglab.github.io/waterdrop Spark当然是一个优秀的分布式数据处理工具，但是正如上文所表达的，Spark在我们的日常使用中还是存在不小的问题。因而我们也发觉了我们的机会 —— 通过我们的努力让Spark的使用更简约，更高效，并将业界和我们使用Spark的优质阅历固化到Waterdrop这个产品中，明显削减学习成本，加快分布式数据处理力量在生产环境落地 Waterdrop 的中文是“水滴”，来自中国当代科幻小说作家刘慈欣的《三体》系列，它是三体人制造的宇宙探测器，会反射几乎全部的电磁波， 表面确定光滑，温度处于确定零度，全部由被强互作用力紧密锁死的质子与中子构成，无坚不摧。 在末日之战中，仅一个水滴就摧毁了人类太空武装力气近2千艘战舰。 Waterdrop 的特性 简约易用，机警配置，无需开发；可运转在单机、Spark Standalone集群、Yarn集群、Mesos集群之上。 实时流式处理, 高功能, 海量数据处理力量 模块化和插件化，易于扩展。Waterdrop的用户可依据实际的需要来扩展需要的插件，支持Java/Scala实现的Input、Filter、Output插件。假如您对插件扩展感爱好，可移步至Waterdrop插件开发 支持利用SQL做数据处理和聚合 Waterdrop 的原理和工作流程 假如想准时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop Waterdrop 利用了Spark的Streaming, SQL, DataFrame等技术，Java的反射机制、Service Loader等技术以及Antlr4的语法解析技术， 实现了一套完整的可插拔的数据处理工作流，如下： 假如想准时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 多个Filter构建了数据处理的Pipeline，满足各种各样的数据处理需求，假如您生疏SQL，也可以直接通过SQL构建数据处理的Pipeline，简约高效。 目前Waterdrop支持的Filter列表(数据处理插件), 仍旧在不断扩充中。 您也可以开发本人的数据处理插件，整个系统是易于扩展的。通过下面的配置示例，你可以快速了解到这种工作流程： spark是spark相关的配置，可配置的spark参数见： Spark Configuration, 其中master, deploy-mode两个参数不能在这里配置，需要在Waterdrop启动脚本中指定。 input可配置任意的input插件及其参数，具体参数随不同的input插件而变化。input支持包括File, Hdfs, Kafka, S3, Socket等插件。 filter可配置任意的fi