基于流数据的数据管理系统研究.pdfVIP

基于流数据的数据管理系统研究1 包剑 辽宁工程技术大学计算机系，辽宁阜新（123000 ） E-mail ：baojian9999@163.com 摘 要：流数据管理系统的研究已成为当前数据库领域研究的重要课题。流数据数据管理系 统是基于流数据而设计的数据管理系统，它能有效地处理输入流数据并提供连续检索的功 能。分析了流数据管理系统的体系结构，重点讨论基于流数据的流查询技术，提出了流数据 管理系统研究中许多重要问题的未来研究方向。 关键词：流数据；流数据管理系统；流数据查询 中图分类号：TP311 文献标识码：A 1 引言 随着信息技术及其应用的飞速发展，流数据处理逐渐成为当前网络与数据库领域新的研 究热点。当网络流量管理、网络监听和流量监测、网络控制器、网络性能监控、入侵检测、 电信数据管理、网络个性化、传感器的数据处理等应用出现后，数据大都是连续的流数据。 传统的数据库存储的是静态的关系型数据记录的集合，它们具有限定的大小、可控制的操作、 详细定义的结构，同时这些数据具有持久性。传统数据库中的计算具有时间复杂度和空间复 杂度，其查询处理为单次查询，查询计划为静态的，最终生成确定的查询结果；传统数据库 中的数据的存储方式以及能够提供的对基于时间的数据的管理能力是非常有限的，无法满足 复杂应用的需求。通常，只有当数据中的大部分会被反复查询且只存在少量的、不频繁更新 的情况下，传统的存储型数据集才是合适的。然而流数据环境中，在数据不断变化且大部分 数据无法进行多次操作的情况下，需要引入新的数据处理模型以解决上述问题。 与传统存储型关系模型相比，流数据有以下特点：1）流中的数据元素是不断抵达的；2 ） 系统无法对抵达的待处理数据元素进行顺序控制；3 ）变化很快，并且要求快速的即时响应， 流数据潜在地无边界；4 ）当流数据中的一个数据元素被处理后，就被抛弃，一般不能再轻 易取得。针对流数据的这些特点，如何研制一个良好的流数据管理系统（DSMS ）用于管理 流式数据便成了一个需要解决的问题。就功能和性能而言，一个流数据管理系统允许一些或 者所有数据都以连续的流数据的形式出现。流数据管理系统既可以管理常规存储的数据（关 系），又可以处理多维的、连续的、无限制的、快速的和随时间变化的流数据，它支持长时 间连续的查询，并且产生连续的时序的结果。目前世界各大研究机构纷纷开发原型流数据管 理系统，比较成型的流数据管理系统原型有斯坦福大学的 STREAM 系统[1]，布朗大学、布 兰代斯大学和麻省理工大学联合开发的 Aurora and Medusa[2]，美国加州大学伯克利分校的 TelegraphCQ[3]等。 2 流数据定义 定义 1 流数据S 是一个由有先后顺序关系且个数随时间不断增加的元组构成的数据集。 形式化描述为d，t ，即S = { d，t|d ∈D ，t ∈T }，其中d 为符合该流数据格式的元组；t 为该数据元素的时间戳。设数据域 D 规定了流数据所携带的数据格式，其中可以包括一组 属性；时间域 T 规定了流数据的时间序列，作为流数据中数据元素的时间戳。 1本课题得到辽宁省教育厅高等学校科学研究项目（202182054 ）的资助。 - 1 - 定义 2 关系 R 为时间域 T 到元组集合D 的映射，这些元组符合D 的数据格式，是确定 的但非限界的。R （t ）表示在时间点 t 抵达的未排序元组集。 从某种意义上说，在这种“瞬时” 的情况下，它与传统数据库中不考虑时间因素的“关系” [4] 是类似的。以上定义是模型中流数据与关系的相互转化的基础 。实际上，由于S 的单调性， 对任一时间点t，R （t ）都可由S计算得出；反之只要增量地维护R ，通过R （