MPI并行程序设计[参考].pdfVIP

MPI 并行程序设计 1、消息传递并行程序的基本原理 1.1 消息传递的基本概念 MP( message passing ) 消息传递模型：采用消息传递模型的程序由一组进程构成，每个 进程只能访问本地的（自己）的存储器空间，在不同进程之间的通信通过发送和接收消息 来完成。根据这个定义，在消息传递模型下，不同进程之间的数据传输由发送进程和接收 进程共同完成。 由于支持消息通信对系统的硬件和软件的要求都不高，因此消息传递模型在并行程序 设计中被广泛采用。最简单的可以采用消息传递方式编程的并行计算机系统包括多个处理 器，每个处理器有自己的存储器，他们用某种形式的互联网络连接在一起。因此，消息传 递模型不仅可以用来编写分布内存并行计算机系统的程序，也可以用来编写集群系统上的 程序。而在共享存储器系统中，消息传递可以用共享存储器来代替互连网络，因此，消息 传递模型具有可以适应多种体系结构的要求。从软件的角度来说，采用消息传递的系统通 常以消息传递库的形式出现，库中包含了发送了接收消息所需要的函数。这使得可以以现 有的串行程序语言为基础来开发消息传递的程序。一个消息传递的库从严格意义上来说， 只需要提供两个函数：一个用来发送消息，一个用来接收消息，但事实上，绝大多数最近 出现的消息传递库比如 CMMD ，NX ， MPL 和 MPI 都提供了额外的函数调用来进行复杂的 通信操作，比如在一组处理器中进行集合通信的操作。 2 、点到点通信 主要的点到点通信操作是 SEND 和 RECEIVE 。SEND 把一条消息从一个处理器发送到 另外一个，而 RECEIVE 则读取来自其他处理器的消息。在最简单的情况下，对 SEND 和 RECEIVE 的调用不会立即返回，除非实际的操作已经完成（消息发送完毕或者消息接收完 毕）。这种形式的操作被称为阻塞 SEND 和 RECEIVE 。一个阻塞的 SEND 只有在对应的 RECEIVE 操作已经被调用（不一定结束）并且消息已经被发送的情况下才会顺利返回。同 样的，一个阻塞 RECEIVE 只有在对应的 SEND 操作已经调用并且消息已经成功地接收的 情况下才会顺利返回（这里暂时不讨论发生异常比如调用出错的情况） 。 对阻塞操作来说，每次处理器进行 SEND 和 RECEIVE 调用时它需要等待的时间不仅 包括传输数据所需的时间，还包括对应的处理器对匹配的操作进行调用的时间。因此在消 息传递过程中，除非 SEND 和 RECEIVE 操作同时调用，总有一些处理器处在等待状态， 这增加了程序执行的额外开销。 SEND 和 RECEIVE 操作通常有另外一种形式，称为非阻塞式通信。一个非阻塞 SEND 和 RECEIVE 操作并不等待实际的消息传送完全结束（只要底层系统保证会完成剩下的工 作就行），它们就开始执行下面的操作（当然这些操作不能和 SEND/RECEIVE 的结果有依 赖关系）。在适当的时候，处理器可以检查刚才的非阻塞 SEND/RECEIVE 调用是否完成 了，以决定下一步的操作。 除了点对点通信，还有集合通信。 3 、 MPI 程序设计基础 3.1 MPI 简介 MPI （Message Passing Interface ）是一种基于消息传递的并行程序设计标准，它明确 定义了一整套用户接口，而对于具体实现，除了给出了建议以外，并没有太多的限制。由 于它在标准化方面所进行的努力，它已经成为了消息传递并行程序程序设计的代表和事实 上的标准。 在 MPI 标准的制定过程中，制定者希望 MPI 能够达到下面的三个目标： 较高的通信性能 较好的程序可移植性 可以满足消息传递程序设计的各种要求 由于 MPI 是一个库而不是一种程序语言，因此对 MPI 的使用必须和特定的程序语言结 合起来进行。通常情况下，对一个