《并行程序设计基础》.pdfVIP

并行程序设计基础 联想高性能服务器事业部 主要内容 并行计算系统基础 并行计算基本概念 几种典型的benchmark 2 并行计算系统基础 并行计算机分类 主流并行计算机系统比较 机群并行计算环境 3 并行计算机分类 根据指令流和数据流的不同，通常把计算机系统分为： – 单指令流单数据流（SISD） – 单指令流多数据流（SIMD） – 多指令流单数据流（MISD） – 多指令流多数据流（MIMD） 并行计算机系统绝大部分为MIMD系统，包括 – 并行向量机（PVP，Parallel Vector Processor）； – 对称多处理机（SMP,Symmetric Multiprocessor）； – 大规模并行处理机（MPP，Massively Parallel Processor）； – 机群（Cluster）； – 分布式共享存储多处理机（DSM，Distributied Shared Memory） 4 Earth Simulator Earth simulator center Nec Rmax:35.86Tflops 8*8*640 5 Earth Simulator 6 Earth Simulator 7 SMP 对称多处理机 SMP系统一般使用商品化微处理器，具有片上或外置高速缓存 经由高速总线（或交叉开关）连向共享存储器。每个处理器可等 同地访问共享存储器、I/O设备和操作系统服务。 单一操作系统映像，全系统只有一个操作系统驻留在共享存储器 中，它根据各个处理器的负载情况，动态地分配各个进程到各个 处理器，并保持负载平衡； 低通信延迟，各个进程通过读/写操作系统提供的共享数据缓存 区来完成处理器间的通信，其延迟通常小于网络通信延迟； 共享总线带宽，所有处理器共享总线带宽，完成对内存模块和 I/O模块的访问。 8 SMP 对称多处理机（续） 问题：欠可靠，总线、存储器、操作系统失效可能导致系统崩溃； 可扩展性较差，由于所有处理器都共享总线带宽，而总线带宽每 3年才增加2倍，赶不上处理器速度和存储容量的增长步伐，因此 SMP的处理器个数一般少于64 个，且只能提供每秒数百亿次的浮 点运算。 SMP的典型代表有：SGI POWER Challenge XL系列、DEC Alphaserver 84005/440、HP9000/T600和IBM RS6000/R40。 9 SMP 对称多处理机（续） P/C P/C P/C 总线或交叉开关 SM SM SM 10 DSM 分布式共享存储多处理机 DSM的典型代表为SGI的Origin2000和Origin3000系列并行机 处理器对物理分布的共享存储器的访问是不对称的，因此远端访 问延迟一般是本地访问延迟的3倍以上 单一内存地址空间，所有这些内存模块都由硬件进行了统一编址， 并通过互连网络形成了并行机的共享存储器 11 DSM （续） 基于Cache的数据一致性 DSM较好地改善了SMP的可扩展性能。一般地，DSM可以扩展 到上百个节点，能提供每秒数千亿次的浮点运算功能 单一的系统映像，在DSM中，用户只看到一个操作系统，它可 以根据各节点的负载情况，动态地分配进程 12 机群（Cluster） 我国的曙光1000A、曙光2000、曙光3000；联想深腾1800以及前 不久推出的曙光4000L和联想深腾6800等都是机群架构的并行计 算机 Cluster的每个系统都是一个完整的工作站，一个节点可以是一台 PC或SMP 各个节点一般由商品化的网络互连，节点上的网络接口是松散耦 合到I/O总线上的 每个节点一般有本地磁盘，一个完整的操作系统驻留在每个节点 上 13 可扩展高性能机群服务器技术 Expandability Single System image Node Expandable Single Point Login User Expandable Single System File Image System Expandable Single Point of Management Application Expandable Cluster Core Cluster Core Cluster Core Share Resource Node Independent Share System Node Failure Isolated Management Taken Over Easy to manage High Availability 14 单一系统映像 单一系统映像（Single System Image，SSI）并不是指系统中仅有 唯一的操作系统映像驻留在内存，而只是感觉上，像一个单一系 统。 其