文稿教程讲稿dstream2008 bigpipe keshangchuan.pdfVIP

流式计算系统

流式计算

大数据处理分布式计算

源源不断的数据流，

注重时效性

流式计算系统

DStream1.0TM1.0DStream3.0

纯流式计算系统小批量流式计算系统新一代纯流式计算系统

201120112017

HadoopBigpipeDStream3流式计算系统，

批量计算系统消息传输系统致力于解决大规模、低延迟、高准确、高可用的

20082010前后无限数据流计算问题

Motivation

importerrt

exporter

show

antispam？

importer

back

clickexporter

importer

CLC(Correctness-Latency-Cost)

!#$%#$

4QBK

.LPQ.LBQKBPP.LBQKBPP

DStream3

•End-to-end3合1Once语义•Upstream-dependent•多层次SDK

mode

•3合1LowWatermark•用户多线程支持•多语言支持

•PullLongPollingRPC•micro-bundle支持•metric

•multidistribution-mode•动态•profiling

Upgrade/DAG/parallel/resource

•10秒级保活防僵尸机制•自动反压主动限速•tracing

•泄洪机制•框架避让用户线程•

•面向容器，多租户•资源、权限管理•log

Once语义

lAt-most-once：最多只处理一次，可能丢数据

lAt-least-once：至少处理一次，可能重复处理

lExactly-once：处理且仅