《并行算法与并行软件设计-第四章消息传递界面MPI基础-集群通信与派生数据类型》.pdfVIP

第四章 消息传递界面MPI 基础-集群通信 与派生数据类型 4.1 集群通信 （Collective Communications） 4.1.1 集群通信的基本概念 集群通信（Collective Communication ）的一个最重要特征是指定的Communicator 中所 有的进程都参与通信操作。缺省情况下是每个进程都需调用该操作函数。一共有三种集群通 信模式，它们是数据移动（Data movement ）、数据聚集（Collective computation — reductions ） 和同步（Synchronization ）。集群通信是阻塞式的，同时执行阻塞通信的函数没有消息标签 这个参数。集群通信不支持派生数据类型。 同步是指所有的进程一直处于等待状态直到通信组中所有的进程都达到了同步这一点 上。 数据移动是指数据的广播（broadcast ），收集/散布和（scatter/gather ）和 all to all 操作。 数据聚集是指通信集中的一个进程从其它进程收集数据，同时在这些数据上执行求最小 min 、求最大 max 、迭加 add 、相乘 multiply 等方面的操作。 MPI 提供的集群通信函数，它们包括障碍同步 （barrier synchronization ） 、 广播 （broadcast ） 、 数据收集 （gather ） 与散发 （scatter ） 、 归约 （reduction ） 等等 这 些函数均要求属于同一进程组 （虚拟通信集）的进程共同参与，协同完成。集群通信函数 根据数据的流向可分为一对多（一个进程对多个进程，如广播、 数据散发） 、多对一（多 个进程对一个进程，如数据收集、 归约） 和多对多 （多个进程对多个进程）三种类型的 操作。在一对多和多对一操作中，有一个进程扮演着特殊的角色，称为该操作的根进程 （root ）。 MPI2.0 以前的标准中，提供了丰富的集群操作例程（见下表所示）: 类型 函数 功能 数据移动 MPI_Bcast 一到多，消息相同 MPI_Gather 多到一，消息由各个进程决 定 MPI_Gatherv MPI_Gather 的一般形式 MPI_Allgather MPI_Gather 的一般形式 MPI_Allgatherv MPI_Allgather 的一般形式 MPI_Scatter 形式一到多，消息由根结点 决定 MPI_Scatterv MPI_Scatter 一般形式 MPI_Alltoall 多到多，消息由每个进程确 定 MPI_Alltoall MPI_Alltoall 的一般形式 MPI_Alltoallv 上者的一般形式，结果在所 有进程 数据聚集 MPI_Reduce 多到一的聚集操作，结果在 根 MPI_Allreduce 与执行完 MPI_Reduce 以后 再执行一次MPI_Bcast 相同 MPI_Reduce-scatter 结果scatter 到各个进程 MPI_Scan 前缀操作， 同步 MPI_Barrier 同步操作 表4.1 MPI 的集群通信的操作例程 4.2 同步 4.2.1 障碍同步MPI_Barrier MPI_Barrier 函数在通信集中创建了障碍同步（barrier synchronization ），当遇到 MPI_Barrier 调用以后，进程就会等待直到所有的进程都到达同一个MPI_Barrier 调用以后才 共同继续执行下面的操作。 Fortran Program MPI_Barrier communicator C Program MPI_BARRIER communicator, ierr 该函数用于进程间的同步。一个进程调用该函数后将等待直到虚拟通信集 communicator 中的所有进程都调用了该函数才返回。 4.3 数据移动 4.3.1 广播 Broadcast 操作从根进程发送一个消息到所有进程，三元组（buffer,datacount,datatype ） 确定了消息，对根进程来说，既是发送缓冲区也是接收缓冲区；而对其他进程仅为接收缓冲 区。 图4.1 广播操作 Fortran Program MPI_Bcast buffer,datacount,datatype,root,communicator . C Program MPI_Bcast *buffer,count,datatype,root,comm 图4.2 Broadcast 操作示例 虚拟通信集 communicator 中进程号为 root 的进程 （根进程）将自己 buffer 中的内 容同时发送给