大数据环境下的分布式数据流处理关键技术探析.pdf

Journal ofComputerApplications ISSN 1001—9081 2017．03—1O 计算机应用，2017，37(3)：620—627 CODEN JYIIDU http：／／www．joca．cn 文章编号：1001-9081(2017)03．0620．08 DOI：t0．11772／j．issn．1001—9081．2017．03．620 大数据环境下的分布式数据流处理关键技术探析 陈付梅，韩德志 ，毕 坤，戴永涛 (上海海事大学 信息工程学院，上海201306) (}通信作者电子邮箱 dezhihan88@sina．com) 摘 要：大数据环境下的数据流处理实时性要求高，数据计算要求持续性和高可靠性。分布式数据流处理系统 (DDSPS)能解决大数据环境下的数据流处理问题，它除具备分布式系统的可扩展性和容错性优势外，还具有高的实 时处理能力。详细介绍了组成基于大数据的分布式数据流处理系统的四个子系统及其关键技术，讨论和比较了各个 子系统的不同技术方案；同时介绍一种分布式拒绝服务 (DDoS)攻击检测数据流处理系统结构案例 ，其研究内容能为 大数据环境下的数据流处理理论研究和应用技术开发提供技术参考。 关键词：大数据；流处理；消息队列；数据处理；数据存储 中图分类号：TP391；TP311．13 文献标志码：A Keytechnologiesofdistributeddatastream processingbasedonbigdaat CHEN Fumei．HAN Dezhi 。BIKun。DAIYongta0 (CollegeofInformationEngineering，ShanghaiMaritimeUniversity,Shanghai201306，China) Abstract：Inthebigdataenvironment，thereal-timeprocessingrequirementofdatastream ishigh，anddatacalculations requirepersistenceandhighreliability．DistributedDataStreamProcessingSystem (DDSPS)cansolvetheproblemofdata stream processinginbigdataenvironment．Besides，ithastheadvantagesofscalabilityand fault-tolerance ofdistributed system，andalsohashighreal—timeprocessingcapability．FoursubsystemsandtheirkeytechnologiesoftheDDSPSbasedon bigdatawereintroducedindetail．Thedifferenttechnicalschemesofeachsubsystem werediscussedandcompared．Atthe salnetime，anexampleofdatastreamprocessingsystemstructuretodetectDistributedDenialofService(DDoS)attackswas introduced，whichcanprovidethetechnicalreferencefordatastream processingtheoryreserachand applicationtechnology developmentunderbigdataenvironment． Keywords：bigdata；stream processing；messagequeue；dataprocessing；datastorage