高性能计算教案-第二讲-2.pptVIP

* MPP 大规模并行机系统是典型的分布存储系统 内存访问属非远程存储访问模型（NORMA）。 * MPP的优点 由数百个乃至数千个计算结点和I/O 结点组成，每个结点相对独立，并拥有一个或多个微处理器。 这些结点配备有局部cache，并通过局部总线或互联网络与局部内存模块和I/O 设备相连接。 这些结点由局部高性能网卡(NIC) 通过高性能互联网络相互连接。 各个结点均拥有不同的操作系统映像。 一般情况下，用户可以将作业提交给作业管理系统，由它负责调度当前最空闲、最有效的计算结点来执行该作业。但是，MPP也允许用户登录到某个特定的结点，或在某些特定的结点上运行作业。 各个结点间的内存模块相互独立，且不存在全局内存单元的统一硬件编址。 仅支持消息传递或者高性能Fortran 并行程序设计，不支持全局共享的OpenMP 并行程序设计模式。 * 五种结构特性一览表 属性 PVP SMP MPP DSM COW 结构类型 MIMD MIMD MIMD MIMD MIMD 处理器类型 专用定制 商用 商用 商用 商用 互连网络 定制交叉开关 总线、交叉开关 定制网络 定制网络 商用网络（以太ATM） 通信机制 共享变量 共享变量 消息传递 共享变量 消息传递 地址空间 单地址空间 单地址空间 多地址空间 单地址空间 多地址空间 系统存储器 集中共享 集中共享 分布非共享 分布共享 分布非共享 访存模型 UMA UMA NORMA NUMA NORMA 代表机器 Cray C-90， Cray T-90， 银河1号 IBM R50，SGI Power Challenge， 曙光1号 Intel Paragon， IBMSP2，曙光1000/2000 Stanford DASH，Cray T 3D Berkeley NOW，Alpha Farm * 并行计算第三讲 预习第二章 看google file system的论文 * 耦合程度分类法 MIMD 紧 耦 合 系 统 MIMD 松 耦 合 系 统 * 耦合程度分类法 紧耦合： 具有共享存储器。 每个节点机通过互联网络与共享存储器连接。 每个节点机离开共享存储器都不能工作。 运行过程中，各节点机和共享存储器间通信频繁。 松耦合： 各节点机有自己的局部存储器。 指令和大部分数据都可以在本地处理机内访问到。 各个节点机具有相对的独立性 只有少数共享数据需在节点机间通过通信方式交换，大大减少通讯量。 * 耦合程度分类法 紧耦合： 优点：具有共享存储器，编程方便，容易推广使用。 缺点：存在内存争用现象和通信瓶颈；可扩展性差，硬件结构在出厂时已定型。 松耦合优点： 2）通信网络上的数据通信量较小，缓和了通信瓶颈问题； 解决方案：总线结构和非均匀存储方法 1）通过最小化共享资源减小资源竞争带来的系统性能下降； 3）具有很高的可扩展性。 * 什么是博士 圆：人类所有的知识； 圆的内部：已知； 圆的外部：未知； * 什么是博士 小学 * 什么是博士 中学 * 什么是博士 大学，有了一个专业方向 * 什么是博士 硕士，在专业上又前进了一大步。 * 什么是博士 进入博士生阶段，你大量阅读文献，接触到本专业的最前沿。 * 什么是博士 你选择边界上的一个点，也就是一个非常专门的问题，作为自己的主攻方向。 * 什么是博士 你在这个点上苦苦思索，也许需要好几年。 * 什么是博士 终于有一天，你突破了这个点。 * 什么是博士 你把人类的知识向前推进了一步，这时你就成为博士了。 * 什么是博士 现在你就是最前沿，其他人都在你身后 * 什么是博士 但是，不要陶醉在这个点上，不要把整张图的样子忘了。 * 并行计算机访存模型（1) UMA（Uniform Memory Access）模型：均匀存储访问模型。 COMA(Cache-Only Memory Access)模型：全高速缓存存储访问的简称。 CC-NUMA（Coherent-Cache Nonuniform Memory Access）模型是高速缓存一致性非均匀存储访问模型的简称。 NORMA（No-Remote Memory Access）模型是非远程存储访问模型的简称。 NUMA（Non-Uniform Memory Access）模型：非均匀存储访问模型。 * UMA 其特点是： 物理存储器被所有处理器均匀共享； 所有处理器访问任何存储字取相同的时间； 每台处理器可带私有高速缓存； 外围设备也可以一定形式共享。 * NUMA 特点是： 被共享的存储器在物理上是分布在所有的处理器中的，其所有本地存储器的集合就组成了全局地址空间； 处理器访问存