高性能计算和并行算法-计算物理课件.pdf

第十章 高性能计算和并行算法 §10．1 引言 计算机的运算速度在日新月异地增长，计算机的市场价格却不 断地下降。 当前的计算机技术仍然远远不能满足物理问题计算的需要。 高性能计算机是一个所有最先进的硬件，软件，网络和算法的 综合概念，“高性能”的标准是随着技术的发展而发展的。 高性能计算系统中最为关键的要素是单处理器的最大计算速 度，存贮器访问速度和内部处理器通讯速度，多处理器系统稳定 性，计算能力与价格比，以及整机性能等。 传统的计算机是冯.纽曼(Von Newmann)计算机，它是由中央处理 器、内存器和输入/输出设备构成。 为了要超越这个冯.纽曼“瓶颈”，人们发展了两种计算机体系结 构和相关软件技术的应用原则。一个是并行算法 (parallelism)， 另一个是流水线技术 (pipelining)。 由于高性能计算机与当前能够应用的新计算技术相关联，因而它 与并行算法和流水线技术有着密切的联系。 §10. 2 并行计算机和并行算法 并行计算机是由多个处理器组成，并能够高速、高效率地 进行复杂问题计算的计算机系统。 串行计算机是指只有单个处理器，顺序执行计算程序的计 算机，也称为顺序计算机。 并行计算作为计算机技术，该技术的应用已经带来单机计 算能力的巨大改进。 并行计算就是在同一时间内执行多条指令，或处理多个数据 的计算。并行计算机是并行计算的载体。 为什么要采用并行计算呢？ 并行计算可以大大加快运算速度，即在更短的时间内完成相同 的计算量，或解决原来根本不能计算的非常复杂的问题。 提高传统的计算机的计算速度一方面受到物理上光速极限和量 子效应的限制，另一方面计算机器件产品和材料的生产受到加 工工艺的限制，其尺寸不可能做得无限小。因此我们只能转向 并行算法。 并行计算对设备的投入较低，既可以节省开支又能完成计算任 务。实际上，许多物理计算问题本身就具有并行的特性，这就是 需要并行算法的最朴素的原因。 通常的冯.纽曼计算机是属于 SISD(Single Instruction Single Data stream computers) 单指令单数据流计算机类型计算机，它 的结构只有一个处理器，同时可以处理一个单数据流。 并行计算机若采用与某种网络相关的多处理器结构，则会使其性 能得到改善。如今广泛使用的结构分成以下类型： SIMD(Single Instruction Multiple Data stream computers) 单指令多数据流计算机； MIMD(Multiple Instruction Multiple Data stream computers) 多指令多数据流计算机。 单/多指令指的是可以同时在计算机上执行的指令数，而单/多数 据流指的是计算机同时可处理的一个或多个数据流。SIMD 和 MIMD 体系结构对并行计算机十分重要。 SIMD 计算机具有处理器器件阵列，它通过单个控制单元来控制 功能设备。这个控制单元向所有处理器发出相同的执行指令，随 后所有处理器对进入的不同数据流进行相同的操作。 MIMD 计算机具有可以同时独立运行多条指令，对不同的数据进 行操作。例如对数组的如下运算 A=B*C+D+E+F/G,可以分解为乘 法（B*C），加法（D+E）和除法（F/G）直接交给 MIMD 计算机的 直接处理部分同时进行计算。 按照同时执行程序的不同并行计算机又可以分为： SPMD（Single Program Multiple Data Stream Computers） 单程序多数据流并行计算机, SPMD 并行计算机一般是由多个 相同的计算机或处理器构成； MPMD（Multiple Program Multiple Data Stream Computers） 多程序多数据流并行计算机。MPMD 并行计算机内计算机或处 理器的地位是不同的，根据分工的不同，它们擅长完成的工 作也不同，因此可以根据需要将不同的程序放到 MPMD 并行计 算机上执行，使得这些程序协调一致地完成给定任务. 这种划分依据的执