数据工程师的未来照进现实——亚马逊云科技ZeroETL产品白皮书.docxVIP

01

01

开篇

01-02

02

02

什么是ZeroETL?

03-04

03

亚马逊云科技当前提供

的ZeroETL选项

05-15

04

04

客户故事

16-17

亚马逊云科技01.开篇

亚马逊云科技

ZeroETL

—数据工程师的未来照进现实

ETL是将业务系统的数据经过提取(Extract)、转换清洗(Transform)和加载(Load)到数据仓库、大数据平台的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据,ETL是各类数据创新项目(比如BI辅助决策,反欺诈与内部合规项目等)重要的一个环节。通常情况下,在BI项目中ETL会花掉整个项目至少1/3的时间。自传统数据仓库理论形成,动辄占据数据工程师70%工作量的ETL构建与维护已经成为常识。每当一个数据项目开展,背后就会牵引出复杂的ETL工作,且这样的工作随着项目的开展就像一个工作量黑洞一样吞噬着项目组的资源。

图:ETL-

01

亚马逊云科技01.开篇

亚马逊云科技

而到了大数据时代,本以为可以找到新的解决方案,但是这种痛苦不减反增,这些痛苦体现在:

u市面上的ETL工具多,代表选择多,那么第一步,ETL工具选型就是个难题。

ETL任务的多少,往往和项目的复杂度呈指数级正相关,越复杂的项目,调度任务越多,动辄数千个ETL任务的项目已屡见不鲜,任务调度与排查的复杂与维护是一个巨大的难题。

ETL

nakeF。rmat

SaaS

NDAT

NDAT

数据源

图:天下苦ETL久矣

02

02.

02.ZeroETL

02

什么是ZeroETL?

2022re:Invent全球大会SwamiSivasubra-

manian

ZeroETLZeroETLETL

03

亚马逊云科技02.ZeroETL?

亚马逊云科技

04

企业需要全面了解其业务的真实情况,才能让数据帮助企业在整个价值流程之中创造价值。数据一体化融合需要让企业打破数据孤岛,并以一种一体化的方式实现数据的共享与安全访问,以解锁不同企业用户和不同目的的数据价值。企业可以通过智能湖仓架构实现这一目标,将湖、仓、库连接成为一个整体,通过专门构建的数据分析服务实现用正确的工具完成正确的任务,进而实现优势整合与成本效益最大化。任何阶段的企业都可以从这种敏捷的架构中快速获益,轻松打破数据及技能孤岛,并以迭代及增量的方式获得数据分析的敏捷性,缩短企业提取数据价值的创新周期。

亚马逊云科技发布了多项全新的集成功能,帮助客户在亚马逊云科技上迈向一个ZeroETL的未来。亚马逊云科技一直在投入开发基于ZeroETL理念的功能,例如AmazonAuroraML和AmazonRedshiftML,让客户可以在机器学习用例受益于AmazonSage-Maker的功能,而无需在不同服务间迁移数据。还有流式服务(如AmazonKinesis和AmazonMSK向数据存储服务(如Amazon

S3

数据。同事,我们也发布了更多新的ZeroETL功能助力客户更快、更轻松、更经济的实践数据一体化融合。

SaaS

SaaS

se

数据源

nlakeForma

端点

t

图:实践数据一体化融合,打造端到端数据创新旅程

05

03.

03.ZeroETL

亚马逊云科技当前提供的Zero

亚马逊云科技

当前提供的ZeroETL选项

1.

1.ZeroETL

ZeroETLZeroETL

AmazonRedshiftSpectrum

亚马逊云科技03.ZeroETL选项

1.1自动化的流式数据摄入

AmazonKinesisDataStreamsFRMATAmazonKinesis

AmazonKinesis

DataStreams

FRMAT

AmazonRedshiftS3DataLake

Amazon

Redshift

应用程序使用AmazonKinesisDataStreams和AmazonManagedS