第3章 节 性能指标和基准程序 第4节 基本性能指标 并行处理与体系结构.pptVIP

并行处理与体系结构;第3章 性能指标和基准程序;?4 并行计算机性能;4;存储器层次结构： 存储器容量 存储器时延 存储器带宽 1996年前后计算机中这3个参数的典型值;说明： 有3种类型的并行性操作。它们是并行性开销的来源 : 进程管理； 分组操作 进程查询操作 ;通信开销的来源有3种类型的操作 同步 聚集 通信;巨大开销 : 注意有关并行性和通信开销的两个要点： 通常比基本计算时间要大得多， 在不同系统上变化很大。;11;12;三、开销定量化 1.问题的提出 应对计算的并行性和通信开销进行量化。;2.开销测量条件 进行测量实验的确切条件必须清楚地加以说明。以下是部分列表: 所使用的数据结构。 所使用的编程语言、库以及编译器选择。 一般地，开销测量应以批处理方式进行，都会被执行。;所使用的通信硬件和协议。因为在这种方式下大多数生成路径(production run) 测量挂钟时间或是CPU时间。一般来讲，挂钟时间更有用。;3.开销测量方法 虽然测量开销粗看起来非常简单，但要获得精确测量结果却是很具挑战性的任务 主要的原因有3种;乒乓方案： 是测量点对点通信常用的方法: 结点0执行一个发送操作向结点1发送一个m字节的消息，后者执行一个接收操作收到此消息 结点1立即发送相同消息给结点0 ;例题：测量时延的乒乓方案：for(i=0；iRuns；i++) if(my_node_id==0){ /*发送方*/ Tmp=Second()； start_time=Second()； 向结点1发送一个m字节消息； 从结点1接收一个m字节消息； end_time=Second()；;timer_overhead=start_time-tmp； total_time=end_time-start_time-timer_overhead； communication_time[i]=total_time／2； }else if(my_node_id==1){ /*接收方*/ 从结点0接收一个m字节消息； 向结点0发送一个m字节消息； }};热土豆(hot_potato)方法(也称为救火队方法)。 该方法面向n个结点； 方法是个循环的发送接收。 ;集合通信 条件：设分布式存储器多计算机中n个结点中的每一个均执行以下的SPMD程序。 使用路障来同步测量进程中的异步操作。 ;for(i=0；iRuns；i++ ){ Barrier synchronization； Tmp=Second()； start_time=Second()； for(j=0；jIterations；j++) The_collective_routine_being_measured； End_time=Second()；;Timer_overhead=start_time-tmp； Total_time=end_time-start_time –timer_overhead； Local_ time=total_time/ Iterations； Communication_time[i]=maximum Of all n local time values； };改用集合操作的通用化乒乓方法： for(i=0；iRuns；i++){ if(my_node_id==0){ tmp=Second()； start_time=Second(); 结点0向所有n个结点广播一个空消息； For(j=0；iIterations；j++);the collective_routine_ being_ measured； 所有结点向结点0完成一个空归约；if(my_node_id=0){ end_time=Second()； timer_overhead=start_time-tmp； Communication_time[i]=end_time-start_time- timer_overhead };4.开销表达式 经测量获得开销数据，有3种表示方法： 用表格来表示数据。 例如，下表给出了在SP2上运行专有MPL通信库所测得的点对点通信的定时结果。;27;以曲线来表示数据 如下图所示。 其优点是曲线可示出通信开销增长趋向。 ;29;表达式表示 例如，将所测得的定时数据用最小二乘法适当地加以拟合。就可将SP2上的点对点通信开销表示成消息长度的线性函数： t=46+0.035mμs 如果加以拟合，它与曲线之间的误差是很小的，如上图所表明的那样。;5.点对点通信表达式 Hockney提出操作通信时间(以μs表示)特征的1个模型， 其中的通信开销t(m)是消息长度m(以字节表示)的线性函数： t(m)=t0+m／r∞ 式中