数据流管理系统综述.docxVIP

数据流管理系统综述1周明中龚俭（东南大学计算机系华东北地区网络中心江苏南京 210096）摘要：近年来对连续数据进行在线分析需求的应用不断出现，传统数据库技术已不能满足其需求，尤其是当数据来自于高速链路。由于应用的推动，各种数据分析管理系统和工具层出不穷，但其中大多数只针对个别具体应用。数据流管理系统提出了一种通用结构模型，它采用窗口机制，连续查询以及相应的优化策略迅速高效地对实时数据进行在线分析处理。本文详细地分析了数据流管理系统的框架结构和构成要素，讨论了其适用范围和优缺点，并指出当前研究中存在的问题及可能的发展趋势。关键词：数据流；DSMS；窗口机制；连续查询；优化策略中图分类号：TP311Survey on Data Stream Management SystemMingzhong Zhou，Jian Gong（Northeast Network Center, Department of Computer Science, Southeast Univ., Jiangsu, Nanjing 210096 China）Abstract：Processing continuous dynamic data steam in real-time mode is required by many applications inthe recent years. Traditional databases technologies cannot fit the needs, especially for the data fromhigh-speed links, so that all kinds of data analysis management system and tools have emerged in, drivenby applications, but most of them were simple and dedicated to special application. DSMS is a commonmodel which adopts window mechanics, continuous query and many optimizing strategy to onlineanalyzing and disposing real-time data quickly and efficiently. This paper comprehensively analyzes thestate-of-art of structure and components of DSMS, discusses their fitness, merit and demerit, and points outthe problems which exist in the recent researches and the latest possible development trends.Key words：Data stream；DSMS；Window mechanism；Sequence query；Optimization Strategy引言随着计算机及其相关技术的发展，在最近几年出现了大量以数据流为信息承载模式的应用系统，譬如：工业生产，网络监测，电话通信，气象监测，经济分析等。这些数据流一般都具有实时性，连续性，顺序性以及数据量庞大等特点，使用传统的数据库管理系统已经不能满足数据流处理的要求。针对数据流管理的需求也陆续出现了一些数据查询处理系统，但这些系统要么只能提供简单的连续在线处理，不能满足相对复杂的实时处理；要么只是简单地记录流量数据，提供定期的离线查询，不能满足实时处理的要求。为满足数据流处理的需求，D. Terry, D. Goldberg et al.在[16]首先提出了应用于只增（Append-only）数据库的长期稳定运行的连续查询系统，系统只需要扫描新加入数据库的数据，故效率很高，该类系统的原型 Tapestry最早应用于邮件和 BBS数据的查询。各种适应于不同应用的系统紧随其后不断涌现，目前主要的数据流管理系统（DSMS）项目有 STREAM（Stanford），Aurora（Brandeis/Brown/MIT），Telegraph（Berkeley），Gigascope（ATT），Niagara（OGI/Wisconsin），Tribeca(Bellcore)。L.Golab, M.T.Ozsu在[1]中对现有 DSMS进行了比较详尽的介绍，但并没有对其中所涉及的具体技术进行详细的比较分析，也没有进一步探讨目前 DSMS中存在的问题。本文通过介绍数据流管理系统的主要内容及