CUDA软件体系和函数库pdf.PDFVIP

CUDA 软件体系 Fang Liu 2014/11/27 SuperComputing Center, Computer Network Information Center of Chinese Academy of Sciences CUDA软件体系结构 CUDA软件体系可以分为三层结构 CUDA函数库（CUDA Library） CUDA运行时API （Runtime API） CUDA驱动API （Driver API） CUDA应用程序可以通过直接调用底层的CUDA驱动来调 用GPU硬件进行并行计算 也可以使用对底层驱动进行了一定封装的CUDA运行时 库来简化编程过程（二者不可混合使用） 对一些标准的数学函数计算，也可以直接调用CUFFT、 CUBLAS以及CUDPP等标准函数库进一步简化编程过程。 下面分别介绍着三层结构各自的适用范围和使用方式 CUDA程序运行环境 CPU CUDA应用程序(Application) (Host) CUDA 函数库(CUDA Libraries) 包括CUFFT/CUBLAS/CUDPP CUDA 运行时API (CUDA Runtime API) CUDA 驱动API(CUDA Driver API) GPU (Device) CUDA API CUDA 目前可以通过两种不同的API来调用GPU底层硬件 驱动API 运行时API 驱动API 驱动API是一种基于句柄的底层接口，大多数对象通过句 柄被引用，其函数前缀均为cu 在调用驱动API前必须进行初始化，然后创建一个CUDA 上下文，该上下文关联到特定设备并成为主机线程的当 前上下文 通过加载PTX汇编形式或二进制对象形式的内核并指定 参数，就可以启动内核进行计算 CUDA驱动API可以通过直接操作硬件执行一些复杂的功 能而获得更高的性能，但其编程较为复杂，使用难度较 大 采用驱动API初始化设备 bool initCUDA() { if (cuInit(0) != CUDA_SUCCESS) return false; // Initialize int deviceCount = 0; cuDeviceGetCount(deviceCount); //获取当前系统中的设备数 if (deviceCount == 0) { fprintf(stderr, There is no device supporting CUDA.\n); return false; } CUdevice cuDevice = 0; cuDeviceGet(cuDevice, 0); // 获取0号设备对象的句柄 CUcontext cuContext; cuCtxCreate(cuContext, 0, cuDevice); //创建CUDA上下文 … return true; } 运行时API 运行时API对驱动API进行了一定的封装，隐藏了其部分 实现细节，因此使用起来更为方便，简化了编程的过程 ，因此我们实际中更多使用的是运行时API 运行时API没有专门的初始化函数，它将在第一次调用运 行时函数时自动完成初始化 使用运行时API的时候，通常需要包含头文件 cuda_runtime.h，其函数前缀均为cuda 采用运行时API初始化设备 bool initCUDA() { int deviceCount; cudaGetDeviceCount(deviceCount);//获取当前系统中的设备数 i