第2章 节 并行编程基础 第3节 并行性问题 并行处理与体系结构.pptVIP

哈尔滨工业大学计算机科学与技术学院 * * 并行处理与体系结构 第2章 并行编程基础 ?1 并行编程综述 ?2 进程任务和线程 ?3 并行性问题 ?4 交互和通信问题 ?3 并行性问题 并行编程带来的许多额外问题。 重点讨论在用户程序中由于对并行性所作的说明而引起的问题。 一、进程中的同构性 指并行程序中各分进程的类似性。 有3种可能的基本类似： SPMD： 在单程序多数据(SPMD)程序中的分进程是同构的。因为多个进程在不同的数据范畴内执行相同代码。 MPMD： 在多程序多数据(MPMD)程序中的分进程是异构的。因为多个进程可以执行不同代码。 SPMD和MPMD程序，两者都是MIMD类型的。 SIMD： SIMD程序与SPMD有区别，SIMD程序是SPMD程序的一个特例。 将着重MPMD程序的研究。 Parbegin S1，S2，…，Sn Parend 当并行块执行时，它的n个分进程S1，S2，…，Sn就开始同时执行。 它们的执行是互相独立的，以不同速率进行。 当所有n个分进程终止时，并行块也就终止。 2、并行循环(Parallel loop) 当并行块中的所有进程共享相同代码时，用一个称为并行循环的速记记号来标明并行块如下： Parbegin Process(1)······Process(n) Parend 可简化成如下的并行循环： Parfor(i=1；i=n：i++){Process(i)} 并行循环常用来说明SPMD并行程序。 可以用SPMD来仿真MPMD。 例如MPMD代码： Parbegin A；B；C；parend 表示成一个SPMD的并行循环 parfor(i=0；i3；i++){ if (i=0) A； If (i=1) B； If (i=2) C；} 3.多代码与单代码(Multi-Code versus Single Code) MPP和COW上，许多编程语言不提供并行块或并行循环构造。 例如，Parbegin A；B；C；parend， 用多代码进行说明： run A On node 1 run B On node 2 run C On node 3 程序A、B和C仅是顺序程序加上进行交互的库调用。 SPMD程序可用单代码方法加以说明。例如，要说明并行循环 parfor(i=0：iN；i++) {foo(i)}， 用户只需编写如下的一个程序： Pid=my_process id()； Numproc=number_of_processes(); for(i：=pid；iN；i=i+numproc)foo(i)； 数据并行构造 在Fortran 90和HPF中，SPMD并行性可用数据并行构造加以说明。 例如，一个并行循环： parlor(i:=1;i=N;++){c[i]=A[i]+B[i];} 用户可用1条数组赋值语句：C=A+B或用以下循环来表示: forall (i=1，N) C[i]=A[i]+B[i] 二、静态和动态并行性 1.静态并行性 如果一个程序的结构以及组成进程的个数在运行时间之前(如在编译时间，连接时间或装载时间)就可确定。 2.动态并行性 这就蕴含着那些进程要在运行时间内创建和终止。 3.动态并行性通常使用某些操作： fork/join(派生和汇合） fork/join操作加以表示。它们也可用单代码或多代码方法加以说明。 一般构思。下列程序有3个进程，其中A是主进程，当程序开始执行时，它是自动被创建的： Process A: Begin Z:=1 Fork(B); T:=foo(3) end Process B: Begin Fork(C); X:=foo(3); Join(C); Output(X+Y); end *