分布式流处理系统中基于位置感知的操作共享优化算法.pdf

第 54卷 第 5期 吉 林 大 学 学 报 (理 学 版 ) Vo1．54 No．5 2O16年 9月 JournalofJilinUniversity (ScienceEdition) Sep 2O16 doi：10．13413／j．cnki．jdxblxb．2016．05．22 分布式流处理系统中基于位置 感知的操作共享优化算法 ， 魏晓辉 ，刘晓斐 ，李洪亮 ，李兰馨 ，李丽娜 崔浩龙 ，李 (吉林大学 计算机科学与技术学院，长春 130012) 摘要：针对流数据规模大、基本数据处理操作有重叠等特点，提出一种基于位置感知 的操作 共享优化算法．假设操作预先分配 了计算节点资源，在保证流处理实时性和动态性的基础 上，利用 多个流数据作业间拓扑结构和操作功能的相似性，基于 DAG 图匹配方法建立操作 共享备选集 ；以输 出带宽为约束条件，建立一个操作共享收益优化 问题模 型，解决 了流处理 过程 中传统操作共享方法对集群 的输 出带宽影响考虑不充分 的问题．仿真实验结果表明，该 方法较原有算法更充分地考虑 了计算节点制约因素，并提高了共享收益，从而可有效地节省 系统计算资源． 关键词 ：流数据 ；分布式流处理 ；操作共享；共享优化 中图分类号 ：TP391 文献标志码 ：A 文章编号：1671—5489(2016)05—1047—08 OperationSharingOptimizationAlgorithm BasedonLocationAwareinDSPS 想 W EIXiaohui，IAU Xiaofei，LIHongiiang，LILanxin，LILina，CUIHaolong，LIXiang (CollegeofComputerScienceandTechnology，JilinUniversity，Changchun130012，China) Abstract：W e proposed an operation sharing optimization algorithm based on the location aware accordingto thedataflow in large scale，and thebasicdataprocessing operationshad overlapping {eatures．W eassumedthattheoperationshadassignedtheresourcesofcomputenodesinadvance，in guaranteedthestream processingreal—timeanddynamicstate，to takeadvantageofthesimilarity betweentopologiesandoperationalfunctionsofmultiplestream dataoperations．W eestablishedan operationsharingrevenueoptimizedmodelbasedon theDAG matchingmethodontheconstraintof outputbandwidth．Thismethod tackled theinsufficiency consideration oftraditionaloperation for operationsharingmethodtotheclusterofoutputbandwidth．Simulationexperimentresultsshow that thismethod hasfullerconsideration in thecalculation ofthe node constrai