不使用 FP64 算术的 DGEMM – 使用 FP64 仿真和 FP8 张量核心与 Ozaki 方案.pdfVIP

不使用FP64算术的DGEMM–使用FP64仿

真和FP8张量核心与Ozaki方案

DaichiMukunoki

mukunoki@cc.nagoya-u.ac.jp

InformationTechnologyCenter,NagoyaUniversity

Nagoya,Aichi,Japan

摘要FP16的实现。我们通过在NVIDIABlackwell架构GPU

上的性能评估展示了这些方法的有效性。

随着对AI计算需求的快速增长，更多硬件被开发出来

本以高效执行此类工作负载所需的低精度矩阵乘法。然

译而，由于准确性要求，这些操作通常不直接适用于科Keywords

中学计算。Ozaki方案——由Ozaki等人于2012年提出的小柳方案，矩阵乘法，GEMM，张量核心，FP8

一种精确矩阵乘法方法——能够使用低精度矩阵乘法

2单元（如FP16张量核心）执行FP64矩阵乘法（DGEMM）。ACMReferenceFormat:

v

1这种方法后来扩展到利用整数算术，与基于浮点的实DaichiMukunoki.2018.不使用FP64算术的DGEMM–使用

4FP64仿真和FP8张量核心与Ozaki方案.InProceedingsofMake

4现相比提供了更低的计算成本。实际上，在配备快速

0suretoenterthecorrectconferencetitlefromyourrightsconfirmation

INT8张量核心的GPU上，它已经实现了比硬件FP64

0email(Conferenceacronym’XX).ACM,NewYork,NY,USA,9pages.

8.操作更高的性能，这些核心专为AI工作负载设计。然/XXXXXXX.XXXXXXX

0而，最近的硬件趋势转向提高低精度浮点运算（如FP8）

5

2的性能，而不是整数运算。受此转变的推动，本研究

:

v重新审视了在Ozaki方案中使用低精度浮点运算的应1介绍

i

x用。具体而言，我们探索了使用FP8张量核心执行DGEMM

r随着人工智能技术的迅速发展，对计算资源的需求激

a的方法。此外，对于支持非常慢或不支持FP64操作的

增。由于低精度矩阵乘法是许多AI工作负载的核心，

处理器，我们也考虑基于整数算术的FP64仿真。进一

因此开发了带有专用单元（如TensorCores）的处理

步地，我们在内积方向上研究了阻塞技术以加速基于

器。此外，还出现了专门用于AI处理的处理器。然

而，依赖FP64的传统科学计算无法直接从这种硬件

Permissiontomakedig