一种透明分布式计算框架及其在网络优化软件中应用-a transparent distributed computing framework and its application in network optimization software.docxVIP

摘要摘要ZXPOS网络规划优化系统，基于网络的工程参数、无线参数、路侧数据等多种数据，从多个方面对网络进行统计、检查和分析，从而对网络进行规划、评估和优化。该过程中需要涉及到大量的计算处理，如路由预测、测地线计算、PN规划、自动载频规划、以及仿真过程中的路径损耗计算等等。面对这类海量数据，计算通常需要耗费大量的内存和CPU资源。如果采用单机模式来处理海量数据，不仅耗时很长且效率极低，很大程度上降低了工程效率。而超级计算机过于昂贵，布置集群系统又存在许多困难，如费用昂贵、硬件要求高、部署困难等。在该背景下，本文提出了一种基于局域网的分布式计算框架，充分利用现有网络设备和闲置计算机资源，把单机的运算负载分散到多台PC机上，极大得缩短了运算时间，同时又最大限度地屏蔽了底层的分布式计算过程，以达到易管理易使用的目的。本文针对网络优化和网络仿真数据处理中，基于海量数据和海量的计算的基础上，提出了一种能够充分利用现有的企业级网络资源，且具有易管理易使用特点的分布式计算处理方案。该方案中，以动态链接库的形式组织算法文件，以适应各种分布式算法。系统具有较高的任务透明性，计算数据和算法文件相互独立设计。该框架具有较好的智能性，能自动检测机器信息及网络环境，采用负载平衡的方式进行任务的透明分配。通过合理的任务调度，性能高的计算节点分配的任务比较多，性能低的计算节点分配的任务比较少。从应用角度上，通过本文的研究，可使类似具有数台或数十台PC机的部门，只要这些计算机连接在网络上，而无需任何额外的硬件投入，即可配置为功能强大的分布式网络计算平台，从而实现海量计算的快速求解，并且不会影响单机的日常工作。我们将大计算任务以通过某种方式分解成多个的小任务，发布在分布式计算平台上。随着计算网络规模的扩大，计算平台的计算节点将越来越多，必将大大提高效率。这种低成本的计算框架其潜在的经济与社会效益极大。经过实验，本文提出了用基于局域网的分布式计算框架基本上可以满足网络优化软件中海量测试数据的计算。在有限的经济条件下，我们采用这种分布式并行计算的方法来解决这些难解问题，有较强的科研价值和实用性。关键词：分布式计算，负载平衡，网络互联，透明性ABSTRACTABSTRACTItreferstosubstantialcalculationinthestudyofnetworkoptimizationandnetworksimulation,suchasroutingprediction,geodesiccalculation,andsoon.AndthecalculationusuallyspendsalotofmemoryandCPUresources.Itwilltakealotoftimeifyouuseasinglecomputertodealwiththisenormousamountofdataandcalculation,usuallyatleastseveralhours,whichisawasteoftimeforthenetworkplannerandnetworksimulationpersons.Butitistooexpensiveofsupercomputers,andithavealotofdifficultiestoconfigureclustersystem,suchashighcost,technicalcomplexity,hardwarerequirementsandthelimitednumberofnodes.Underthiscircumstances,thisarticlemadethestudysubject,itmakefulluseofheexistingnetworkequipmentandidlecomputerresources,distributethevolumeofstand-alonecomputingtomanymachinesforparallelprocessing,whichgreatlyshortenthecomputingtime,andtoanutmostdegree,shieldthebottomofdistributedcomputingprocesssoastomakeiteasytouseandconfigure.Inordertodealwiththeproblemofalargequantityofdata,alargevolumeofcomputingandslowspeedofstand-alonecomputerinthedata-processingofnetworkoptimizationandnetworksimulation,thisarticleproposed