贸易地图生成软件并行处理方案的研究与实现.docVIP

贸易地图生成软件并行处理方案的研究与实现*） 邵飞，邸瑞华 （北京工业大学计算机学院，北京，100022） 摘 要 本文通过分析贸易地图生成软件的主要特征，找出软件运行的性能瓶颈，在此基础上制定了适合该系统的基于参数扫描分析的并行处理方案，并且在集群运行平台上实现了这一并行处理方案。系统运行结果证实，该方案缩短了生成贸易地图的时间，改善了系统的整体性能。 关键词 并行处理，数扫描分析，贸易地图，消息传递接口 The Research and Implementation of Trade Map Creation Software with Parallel Processing Solution SHAO Fei,DI Rui-Hua (College of Computer Science and Technology, Beijing University of Technology,Beijing,100022) Abstract：By way of analyzing the key character of the Trade Map Creating Software in this paper,a series of performance bottlenecks of it are located and studied when running,and put the parallel processing solution based on parametric sweep which is fittest for the system into practice on the cluster.It has been concluded that the proper solution can make the time of creating Trade Map shorter and the performance of the system better. Key words：Parallel Processing,Parametric Sweep,Trade Map,MPI 1 引言 随着现代科学技术的发展，大规模数据处理向人们提出了新的挑战，并行处理为成功地解决这些问题开辟了一条可行的途径。本文的研究对象——贸易地图贸易地图现已达到TB级以上并且逐年增长执行单一生成贸易地图进程所耗时间。 生成一次31省市14大类产品的出口国别地图，需要输出434张贸易地图报表，相当于产生434个生成贸易地图的进程。经过时间测试，每个进程执行完毕所耗时间是13秒至15秒之间，执行434个主进程，耗时是1个半小时至1小时48分钟。 如果多个企业同时需要国别级和城市级的贸易地图，或者定制自己需要的贸易地图时，生成贸易地图报表的数量在6000张以上，而且需求具有并发性，显然这样的系统性能无法满足用户的需求，需要改变软件运行方式来提升系统生成贸易地图的速度。 因此，用并行处理技术把负载分配到集群上的各节点进行并行计算，将提高系统执行效率，缩短生成贸易地图的时间。 3 基于参数扫描分析的并行处理方案 通过对贸易地图生成软件性能瓶颈的分析和研究，基于参数扫描分析（parametric sweep）的数据并行编程模型适合解决这类问题的性能瓶颈。数据并行编程模型通过并行处理将相同的操作同时作用于不同的数据，从而提高问题求解速度。参数扫描分析是并行执行多个串行任务的作业示例，这些任务并发运行，但是使用不同的输入和输出文件[1]。任务之间通信一般很少，并发性是通过调度器实现的，调度器同时运行同一应用程序的多个实例。 因此，基于参数扫描分析的贸易地图生成软件并行处理方案，很适合把该软件运行机制中取数据，调用Excel模板，执行Excel进程等相同的操作同时作用于不同数据的过程，分解成不同的任务。通过调度器使同一作业的多个任务在集群平台上并行处理，从而提高生成贸易地图的速度。 3.1 构建集群高性能并行处理平台 本方案采用的是微软的WCCS 2003（Windows Compute Cluster Server 2003）构建高性能集群并行处理平台。根节点控制和调解所有对集群资源的访问，添加或删除计算节点，以及查看作业和节点状态，充当计算集群的单一管理、部署和作业调度点[1]。计算节点执行作业所包含的任务，集群结构和运行机制如图2所示。 图2 集群结构和运行机制 从图2可知，根节点负责提交作业，产生生成贸易地图的主进程，以参数扫面分析策略把作业分成多任务，也就是产生多个生成贸易地图子进程并发给计算节点，子进程首先把Excel模板复制到本计算节点，然后按照原系统的运行机制中取数据，调用Excel模板，执