第3章_性能指标和基准程序 第4节 基本性能指标 并行处理与体系结构教学课件.pptVIP

哈尔滨工业大学计算机科学与技术学院 并行处理与体系结构 第3章 性能指标和基准程序 ?1 系统和应用的基准程序 ?2 性能和成本 ?3 基本性能指标 ?4 并行计算机性能 ?5 并行程序性能 ?6 可扩展性和加速比分析 ?4 并行计算机性能 针对一个并行系统，需讨论计算和开销特征 一、计算特征 下表给出了3种商品化并行计算机系列的性能参数的历史值 存储器层次结构： 存储器容量 存储器时延 存储器带宽 1996年前后计算机中这3个参数的典型值 二、并行性和通信开销 并行程序中的开销可分为3类 负载不平衡开销； 并行性开销； 通信开销(包括同步、通信和聚集)。 T=Tcomp+Tpar+Tinteract 说明： 有3种类型的并行性操作。它们是并行性开销的来源 : 进程管理； 分组操作 进程查询操作 通信开销的来源有3种类型的操作 同步 聚集 通信 巨大开销 : 注意有关并行性和通信开销的两个要点： 通常比基本计算时间要大得多， 在不同系统上变化很大。 三、开销定量化 1.问题的提出 应对计算的并行性和通信开销进行量化。 2.开销测量条件 进行测量实验的确切条件必须清楚地加以说明。以下是部分列表: 所使用的数据结构。 所使用的编程语言、库以及编译器选择。 一般地，开销测量应以批处理方式进行，都会被执行。 所使用的通信硬件和协议。因为在这种方式下大多数生成路径(production run) 测量挂钟时间或是CPU时间。一般来讲，挂钟时间更有用。 3.开销测量方法 虽然测量开销粗看起来非常简单，但要获得精确测量结果却是很具挑战性的任务 主要的原因有3种 乒乓方案： 是测量点对点通信常用的方法: 结点0执行一个发送操作向结点1发送一个m字节的消息，后者执行一个接收操作收到此消息 结点1立即发送相同消息给结点0 例题：测量时延的乒乓方案：for(i=0；iRuns；i++) if(my_node_id==0){ /*发送方*/ Tmp=Second()； start_time=Second()； 向结点1发送一个m字节消息； 从结点1接收一个m字节消息； end_time=Second()； timer_overhead=start_time-tmp； total_time=end_time-start_time-timer_overhead； communication_time[i]=total_time／2； }else if(my_node_id==1){ /*接收方*/ 从结点0接收一个m字节消息； 向结点0发送一个m字节消息； }} 热土豆(hot_potato)方法(也称为救火队方法)。 该方法面向n个结点； 方法是个循环的发送接收。 集合通信 条件：设分布式存储器多计算机中n个结点中的每一个均执行以下的SPMD程序。 使用路障来同步测量进程中的异步操作。 for(i=0；iRuns；i++ ){ Barrier synchronization； Tmp=Second()； start_time=Second()； for(j=0；jIterations；j++) The_collective_routine_being_measured； End_time=Second()； Timer_overhead=start_time-tmp； Total_time=end_time-start_time –timer_overhead； Local_ time=total_time/ Iterations； Communication_time[i]=maximum Of all n local time values； } 改用集合操作的通用化乒乓方法： for(i=0；iRuns；i++){ if(my_node_id==0){ tmp=Second()； start_time=Second(); 结点0向所有n个结点广播一个空消息； For(j=0；iIterations；j++) the collective_routine_ being_ measured； 所有结点向结点0完成一个空归约；if(my_node_id=0){ end_time=Second()； timer_overhead=start_time-tmp； Communication_time[i]=end_time-start_time- timer_overhead } 4.开销表达式 经测量获得开销数据，有3种表示方法： 用表格来表示数据。 例如，下表给出了在SP2上运行专有MPL通信库所测得的点对点通信的定时结果。 以曲线来表示数据 如下图所示。 其优