GPU编程基础介绍.PDFVIP

第三讲 GPU编程基础介绍 程俊 2011.11.23 本节安排 CUDA编程模型 硬件映射 CUDA软件体系 CUDA程序的基本框架 CUDA通信机制 异步并行执行  流  事件 2/41 CUDA编程模型 主机与设备  CPU作为主机（Host ）  GPU作为协处理器（co-processor ）或者设备 （device ）  CPU和GPU各自拥有相互独立的存储器地址空 间 CUDA对内存的操作与一般的C程序基本相同， 但增加了一种新的pinned memory CUDA对显存的操作需要调用CUDA API中的存 储器管理函数 3/41 CUDA编程模型 一个完整的CUDA程序  运行在GPU上的CUDA并行计 算函数称为Kernel （内核函数）  完整的CUDA程序是由一系列 的设备端kernel函数并行步骤 和主机端的串行处理步骤共同 组成的  CPU串行代码完成的工作：在 kernel启动前迚行数据准备和 设备初始化工作，以及在 kernel之间迚行一些串行计算  两层并行模型：Grid中的block 间并行和block中的thread间 并行 4/41 CUDA编程模型 Kernel函数的定义与调用  运行在GPU上的程序称为kernel （内核函数）  内核函数必须通过__global__函数类型限制符 定义  内核函数叧能在主机端代码中调用  调用时必须声明内核函数的执行参数 5/41 CUDA编程模型 执行参数： 用亍说明内核函数中的线程数量， 以及线程是如何组织的 Grid0 Block （0 ，0 ） Thread(0,0) Thread(1,0) …… Thread(N,0) 在编程时，必须先为kernel中用到的数组或变量分配好足够的空间，再调用kernel函 数，否则在GPU计算时会发生错误，例如越界或报错，甚至导致蓝屏和死机 6/41 CUDA编程模型 线程结构  透明扩展：一个程序编译一次以后，就能在拥有不同核心 数量的硬件上正确运行  为了实现这一扩展，CUDA将计算任务映射到大量的可以 并行执行的线程，并由硬件劢态调度和执行这些线程  Kernel以线程网格（Grid ）的形式组织，每个线程 网格由若干个线程块（block ）组成，而每个线程块 又由若干个线程（thread ）组成  Kernel是以block为单位执行的  各block是并行执行的，block间无法通信，也没有 执行顺序 7/41 CUDA编程模型 线程结构  为方便编程，CUDA中使用了dim3类型的内建变量 threadIdx和blockIdx  dim3是基亍uint3定义的矢量类型，相当亍由3个 unsigned int型组成的结构体  可使用亍一维、二维或三维的索引来标识线程，构成 一维、