面向电力大数据的广域计算任务流规划调度技术研究-兽类学报.pdfVIP

ELECTRIC POWER ICT 中图分类号：TP319　文献标志码：B　文章编号：2095-641X(2017)03-0062-05　DOI：10.16543/j.2095-641x.electric.power.ict.2017.03.011 面向电力大数据的 广域计算任务流规划调度技术研究 1 1 1 2 3 朱力鹏 ，饶玮 ，裘洪彬 ，吴舜 ，靳丹 （1. 全球能源互联网研究院，江苏 南京 210003 ；2. 国网冀北电力公司，北京 100053； 3. 国网甘肃省电力公司，甘肃 兰州 730046 ） 摘要：随着电力大数据的深化应用，对基于多数据中心的任务规划、调度、计算能力的均衡和计算节 点的效率提出了更高的要求，文章详细阐述了电力大数据广域计算任务流规划与调度问题，探讨了 适用于多数据中心的广域计算任务流处理框架，介绍了顾及业务逻辑关系的最优粒度任务分解方 法，分析了面向电力大数据的广域计算任务流规划策略，提出面向电力大数据的分布式任务协同调 度方法，为电力大数据广域并发计算任务流的合理规划与协同调度提供技术参考，综合提升电力大 数据广域并发计算任务流的处理效率。 电 关键词：电网；大数据；数据中心；任务流；规划策略；协同调度 力 大 数 据 节点释放速度快时，作业因静态延迟时间而进行的 0　引言 无效等待，有效减少了整个作业的响应时间；湖南 当前，国家电网公司已建成北京、上海、西安三 大学李丽英等人[5] 提出一种改进的LATE （Longest 地集中式数据中心及各省市电力公司数据中心，其 Approximate Time To End ）调度算法，解决了数据 地域化分布特征明显。然而，随着电力大数据的深 局部性带来的慢任务备份执行时读取数据要占用大 化应用，对基于多数据中心的任务规划、调度、计算 部分时间而影响其处理速率的问题，但是没有考虑 能力的均衡和计算节点的效率提出了更高的要求。 系统的异构性，也没考虑数据放置的问题；北京邮电 目前，国内外学者主要针对并行处理框架和并发任 [6] 大学朱春鸽等人 研究提出一种基于资源预留技术 [1] 务调度算法进行了广泛研究。Zaharia M 等人 提 的资源调度模型，实现了“重要的资源服务于重要的 出了一种面向多用户并发作业的细粒度资源共享 任务”的差异化服务，保障重要服务等级的应用得到 公平调度算法，在小并发作业时能够大幅提升集群 及时响应，有效提升了平台的可用性；复旦大学肖正 [2] [7] 吞吐率；Chen Y 等人 提出一种基于已知节点及 等 研究了一种基于Q 学习的分布式多任务流调度 任务优先级的MapReduce 任务调度策略，结合数据 算法，建立了任务影响评估模型，实现了多任务流的 [3] [8] 分布情况进行全局任务调度；刘莹等人 提出一种 优