第五章 大规模并行处理机系统.docVIP

第五章 大规模并行处理机系统 第五章 大规模并行处理机系统 1 5.1 MPP技术概论 1 5.1.1 MPP特性和问题 4 5.1.2 MPP系统概述 6 5.2 实例分析1：Cray T3E的体系结构 9 5.2.1 T3E的体系结构 9 5.2.2 T3E的系统软件 10 5.3新一代ASCI/MPP系统 11 5.3.1 ASCI可扩放设计策略 12 5.3.2 硬件和软件要求 13 5.3.3 定约的ASCI／MPP平台 14 5.4实例分析2：Intel/Sandia ASCI Option Red 14 5.4.1 Option Red的体系结构 15 5.4.2 Option Red的系统软件 17 5.5 三个典型的MPP系统的运行性能评估 18 5.6小结 20 习题 22 参考文献 23 本章首先讨论基本的MPP技术要点；接着采用实例分析的方式，介绍当前最具代表性的两个MPP系统（它们代表了获取大规模并行性的两条不同途径），即采用NCC-NUMA体系结构的Cray T3E系统和采用NORMA体系结构的Intel/Sandia ASCI Option Red系统。同时本章也结合新一代ASCI/MPP系统的介绍讨论了ASCI可扩放设计策略，最后对三个典型的MPP系统的运行性能进行了评估。在小结中还披露了目前位于TOP500榜首的ASCI White的概况。 5.1 MPP技术概论 在诸如科学计算、工程模拟、信号处理和数据仓库等应用中，为了更高的利用并行性，SMP系统的能力已经不能满足要求，我们需要使用可扩放性更高的计算机平台，这可以通过诸如MPP，DSM和COW等分布式存储器体系结构来加以实现。 大规模并行处理机MPP(Massively Parallel Processor)的结构示于图5.1，Intel Paragon、IBM SP2、Intel TFLOPS和我国的曙光-1000等都是这种类型的机器。MPP通常是指具有下列特点的大规模的计算机系统：①在处理节点中使用商品化微处理器，且每个节点有一个或多个微处理器；②在处理节点内使用物理上分布的存储器；③使用具有高通信带宽和低延迟的互连网络，这些节点间彼此是紧耦合的；④能扩展成具有成百上千个处理器；⑤它是一个异步多指令流多数据流MIMD机，进程同步采用锁方式消息传递操作，而不是用共享变量同步操作加以实现；⑥程序由多个进程组成，每个进程有自己的私有地址空间，通过显式的消息传递实现进程间互相通信，数据分布对于用户不是透明的。 图5.1 MPP并行机体系结构模型 大规模并行处理机MPP一词的含义随时间不断在发生变化。按照现今的技术，它是指由成百上千甚至近万个处理器组成的大规模(Large-Scale)计算机系统。MPP的主要应用是科学计算、工程模拟和信号处理等以计算为主的领域。在TOP500()排名中，MPP系统仍然占据着绝大部分。1999年由Intel和Sandia研制成功的ASCI Option Red（红色选择），其处理器数已高达9632个，属于高端MPP系统。目前的MPP系统主要有两种获取大规模并行的不同途径，包括以Cray T3E系统为代表的无硬件支持的高速缓存一致性的分布式存储器NCC-NUMA体系结构，和以Intel/Sandia ASCI Option Red系统为代表的非远程存储访问的NORMA体系结构。由于工作站机群COW采用的技术与MPP有所重叠(特别是和采用NORMA体系结构的MPP)，两者的界限实际上也变得日益模糊。比如，IBM的SP2除了用作通信网络的专用高性能开关之外，也被认为采用了机群体系结构。所以有时把使用机群(Clustering)方法构造的MPP系统(例如IBM SP2和曙光-2000)也列为机群一类(我们将在第6章机群系统中详细介绍)。消息传递的大规模并行处理系统在八十年代后期及九十年代中前期得到迅速发展。这一时期MPP系统的互连网络成为并行系统结构的研究热点(我们在第3章互连网络中已经做了详细介绍)。 MPP系统的研究虽已有较长的历史，但由于研制费用高，故主要由大公司或研究机构研制生产，尤其是超大规模的MPP系统(如峰值运算速度在每秒一万亿次以上浮点运算的系统)，通常体现为政府行为，如美国的ASCI (Accelerated Strategic Computing Initiative) 计划和CIC (Computing Information and Commnucation Program) 计划中的高端并行机。ASCI计划由美国能源部出资，在美国三大军用实验室使用由IBM、Intel、SGI三家公司研制的超级计算机进行核武器测试。 2001年6月21日，在德国Heidelberg召开的超级计算会议(SC2