Fermi架构CUDA编程与优化-full edition.pdfVIP

Fermi架构 CUDA编程与优化 NVIDIA CUDA Technical Consultant team 辉达半导体（深圳）有限公司 背景简介 • 单线程串行计算发展遭遇瓶颈 – 追求最小延迟和单个线程性能，以缓存和控制逻辑减小访存延迟， 可以完成各种计算任务 – 提升频率 受材料和热设计功耗限制，频率近几年没有显著提升 – 依靠大块缓存减小访存延迟，使用大量晶体管 增加缓存并不能直接提高计算能力 – 通过分支预测，乱序执行，超线程等手段挖掘指令级并行 控制逻辑开销巨大，提升空间有限 – 通过SSE，MMX等SIMD指令级提升并行处理能力 SIMD指令级宽度有限，带宽不足 2 背景简介 • GPU通用计算已经成熟 – 追求最大的整体吞吐量，硬件控制线程间切换，以计算隐藏访存 延迟，适合数据并行计算 – 由固定渲染流水线演变为统一架构，适合通用计算 – 计算精度和可编程性不断提高 – 大量计算单元，处理能力强 – 板载显存，电气性能好，位宽大 外部存储器带宽大 – 与专用CPU和向量机相比，GPU供货量巨大 易于摊薄成本 3 背景简介 • 提升处理器吞吐量的方法 – 指令间并行（ILP） • 乱序执行 – 数据间并行（DLP） • 矢量单元、SIMD • SSE、AVX 、Stream Processors in GPU、…… – 线程间并行（TLP ） • 多线程、多核 • 多核CPU、GPU 4 背景简介 • 处理器需要巨大开销才能变得更快，但比较容易变得更宽 • CPU 向多核化，GPU 向众核化发展 • GPU-CPU融合，CPU矢量单元将经历一次更新 • 无论是CPU还是GPU，都需要更新编程思考方式，以并 行计算的思维设计算法 5 介绍„Fermi‟ 架构 一个拥有超级电脑灵魂的GPU 30亿晶体管 F D R / I A M M A I 超过 2x 的核心数量(512 total) / R D F D 8x 的双精度峰值性能 R F / I A M T S