14采用Infiniband构建高性能计算平台.doc

摘要：摩尔定律的一再验证残酷的揭示了一个现实：速度是技术发展的终极目标。高性能计算领域也是一样，如何使高性能计算平台运行的更快、更高效一直是服务器厂商研究的方向，曙光作为中国高性能计算的领头羊，作为高端服务器厂商，也在为此做着不懈的努力。Infiniband高速网络是近几年产生的一种新兴技术，因其具有高带宽、低延迟的特色，得到了计算领域的青睐。本文介绍了Infiniband的硬件组成及其在不同应用中的选择依据，最后通过四个案例进行分析，构建一套符合用户需求的高性能计算网络。 关键字：Infiniband、点对点通信、CFD应用、加速比、全互联 前言 近年来，世界上的超级计算已经由价格昂贵、无扩展性的单片机架构转变为采用商业处理器而拥有无限扩展能力的集群系统，称为高性能计算机集群（HPC：High Performance Computing）。美国Top500.org组织每年分别两次排列出当今世界上最强大的超级计算机，该排名按照超级计算机的实际计算能力（FLOPS：每秒浮点运算）按递减顺序排列。这个列表显示出集群架构正在逐渐取代单片机架构的趋势。由于HPC系统能够快速准确计算出结果，有助于解决商业和科学研究中面临的问题，所以，HPC系统越来越多的被政府部门、商业组织和科学院所采用。 然而，有一些部门和组织所面临的是更具挑战性的计算问题，他们需要更强大、高性能价格比的HPC系统。这就意味着人们必须要关注大集群的建设，这里的大集群是指规模超过100个节点，达到几百个、上千个甚至上万个节点的集群系统；将集群系统扩展到这样的规模而带来的困难和复杂程度是难以想象的；使这样规模的集群能够正常、稳定的工作也是一个痛苦的过程。在超级计算机发展的道路上不乏失败了的大型HPC系统的“尸体”，也说明了这是一个值得研究的问题。 选择一个正确的互连网络是能否达到甚至超过您对集群性能预期的关键。如上所述，一个集群中需要支持多种类型的数据流，所以，我们可以选择在同一集群中同时采用不同类型的互联网络，这些不同的网络将各自支持不同的网络协议，同时，这些不同的网络也拥有不同的网络性能和特性。例如，基于千兆以太网的网络，可以通过TCP/IP通道来传输信息，但缺点是需要占用大量CPU资源来处理网络通信，导致整体处理效率的下降；Myrinet 网络采用卸载引擎（offload engine）技术降低了CPU资源在处理通信方面的消耗，并且拥有千兆以太网两倍的带宽。在目前的Top500排名上千兆以太网技术和Myrinet都很普遍；然而Infiniband，由于是一个标准化的、开放的高性能互联技术平台，从小规模到大规模的可扩展性集群中也拥有很强的生命力。 Infiniband背景介绍 Infiniband发展历史 Infiniband是一种新型的总线结构，它可以消除目前阻碍服务器和存储系统的瓶颈问题，是一种将服务器、网络设备和存储设备连接在一起的交换结构的I/O技术。 它是一种致力于服务器端而不是PC端的高性能I/O技术。 Infiniband最初于2000年上市，但由于当时经济的不景气和IT预算紧缩，人们对它的兴趣很快就消散了。发展至今，I/O技术在企业服务器中无论是速率上还是吞吐量上都取得了稳步提高。但是，毫无疑问，现有的基于PCI架构的I/O技术仍然是系统处理器、系统主存以及I/O外设之间的主要瓶颈。这种I/O架构已经不能满足互联网、电子商务、存储网络等大量的I/O需求。随着对称多处理器（SMP）、集群计算、网格以及远程备份的广泛应用，这种基于PCI架构的I/O技术的缺陷和局限性日益突出。目前人们对互连技术的兴趣开始恢复，而且非常希望互连技术能够帮助数据中心降低成本或实现高性能的计算。随着各种高速I/O标准相继登场，Infiniband逐渐崭露头角。 Infiniband技术通过一种交换式通信组织（Switched Communications Fabric）提供了较局部总线技术更高的性能，它通过硬件提供了可靠的传输层级的点到点连接，并在线路上支持消息传递和内存映像技术。不同于PCI，Infiniband允许多个I/O外设无延迟、无拥塞地同时向处理器发出数据请求 。 目前，集群计算（Cluster）、存储区域网（SAN）、网格、内部处理器通信(IPC)等高端领域对高带宽、高扩展性、高QoS以及高RAS(Reliability、Availability and Serviceability)等有迫切需求，Infiniband技术为实现这些高端需求提供了可靠的保障。 Infiniband发展趋势 基于共享总线（Shared-Bus）的架构的诸多局限性决定了这项I/O技术已经不能适合日益庞大的计算机系统的I/O需求。这些局限性主要包括速率极限、可扩展性、单点故障等几个主要