云边协同的数据共享关键技术研究与实现.pdfVIP

摘要

摘要

在大数据时代，全球每日生成海量的大数据，其中蕴含着丰富的信息和巨大

的潜在价值。通常对单一维度的少量数据进行分析利用所能释放出的价值较为有

限，所以实现多维数据的流通与融合，成为充分释放数据深层价值、推动社会进

步的关键。然而在现实中，数据孤岛现象普遍存在，阻碍了数据的流通与共享。

因此，打破数据孤岛，实现数据的有效流通与融合，成为当前亟待解决的问题。

本论文的主要工作为基于云边协同式数据共享中的“数据不动模型动”思想，

针对于BI(BusinessIntelligence)等数据联合分析应用场景研究设计了一套数据共享

方案，该方案同时引入TEE(TrustedExecutionEnvironment)技术和DAG(Directed

AcyclicGraph)任务解析技术分别解决传统云边协同数据共享过程中所存在的中间

结果不安全和数据使用模型难监控的问题。并根据这套方案构建出一个数据共享

平台，以打破数据孤岛，促进海量多维度数据的有效利用，最终实现数据可用而

不可见的目标。为实现上述方案，本论文对三大技术进行了研究与实现：

1DAG

（）基于图的任务解析技术，为确保数据融合的安全性，通过让数据使

用方以编辑DAG图的形式拼接系统平台所提供的组件以形成数据融合任务使用数

据，借此对数据使用方的操作进行限制和监控。因此本论文为平台设计出一套DAG

任务解析机制对任务进行解析，以支持平台后续对任务的调度执行。

（2）云边协同调度技术，在数据融合任务执行过程中，融合任务中的任务单

元将分别部署到云边相互协同以完成任务。因此本论文设计了一套云边协同机制

以确保任务单元的有序执行，且数据能在任务单元间高效传递。并且考虑到云边

环境的复杂性，本论文同时还设计了一套任务执行失败后的快速恢复方案，以提

高任务执行的鲁棒性。

3

（）数据安全融合技术，边端计算所产生的中间结果需送至云端进行汇聚融

合，中间结果存在数据泄露风险。本论文基于TEE技术设计了一套数据安全融合

机制，中间结果将以密态形式送至云端TEE中，并在TEE的保护下恢复至明文态

进行数据融合以防止数据的泄露。

关键词：数据孤岛，数据共享，云边协同，DAG，TEE

I

ABSTRACT

ABSTRACT

Intheeraofbigdata,massiveamountsofdataaregeneratedgloballyeveryday,

containingrichinformationandenormouspotentialvalue.Typically,thevaluethatcan

beextractedfromanalyzingasmallamountofdatainasingledimensionisrelatively

limited.Therefore,achievingthecirculationandintegrationofmultidimensionaldata

becomesthekeytofullyunleashingthedeepvalueofdataanddrivingsocialprogress.

However,inreality,thephenomenonofdatasilosiswidespread,hinderingthe

circulationandsharingofdata.Therefore,breakingdowndatasilosandachievingthe

effectivecirculationandintegrationofdatahavebecomeurgentproblemsthatneedto

beaddressed.

Themaincontributionofthisthesisliesinproposing