SSD 卸载对 LLM 混合专家权重有害于能源效率.pdfVIP

1

SSD卸载对LLM混合专家权重有害于能源

效率

KwanheeKyung,SungminYun,andJungHoAhn,SeniorMember,IEEE

摘要—大型语言模型（LLMs）应用专家混合（MoE）技专家混合（MoE）架构在DeepSeek-R1、Mixtral和

术扩展到万亿参数，但需要巨大的内存容量，这激发了一线研究Llama4等知名模型中已广泛用于扩展模型参数同时控

将专家权重从快速但较小的DRAM（HBM）卸载到更密集的制训练期间的计算成本。在MoE模型中，专家权重构成

闪存SSD。虽然SSD提供了具有成本效益的存储能力，但其

了绝大部分参数（例如，在DeepSeek-R1中占96.1%）。

每比特读取能耗远高于DRAM。本文定量分析了在LLM推理

的关键解码阶段将MoE专家权重卸载至SSD的能量影响。我然而，在推理过程中，每个标记只有少数一部分专家

本们的分析比较了DeepSeek-R1等模型使用SSD、CPU内存被激活（在DeepSeek-R1中为3.5%），导致稀疏访问模

译（DDR）和HBM存储方案的情况，结果显示，将MoE权重式。诸如MoE-prefetching[3]等技术通过将大量的专家

卸载到当前的SSD会导致每生成标记的能量消耗显著增加（例权重卸载到SSD或CPU内存来利用这一点，旨在通过

中如比HBM基准高出12倍），占据总推理能量预算的主导地将其与活跃专家的计算重叠来隐藏数据传输延迟。特别

1位。尽管预取等技术可以有效隐藏访问延迟，但无法减轻这种基是，虽然可以隐藏延迟，但在这些数据传输过程中消耗

v本能耗惩罚。我们进一步探索未来的技术扩展，发现MoE模型

8固有的稀疏性可能使SSD在能量上变得可行如果闪存读取能耗的能量并未减少，尤其是在访问能耗高的SSDs时更是

7

9显著改进，大约提高了一个数量级。如此。由于稀疏性在自回归解码阶段最为明显（其中一

6次生成一个标记），本研究重点关注分析此阶段的能量

0IndexTerms—大型语言模型，专家混合系统，推理系统，

8.能源效率，闪存，DRAM。影响。

0我们的分析表明，将MoE权重卸载到SSD显著增

5I.介绍

2加了能源使用。在DeepSeek-R1上进行推理时，如果专

:

v大型语言模型（LLMs）通过增加更多的预训练权家权重存储在SSD中，则每标记的能耗比保持在HBM

i

x重参数来显著提升推理准确性[1]。然而，这一趋势也中多大约4.9，比卸载到CPU内存多3.1（图1）。

r

a加大了对权重所需的内存容量以及每个代币生成时从在这种情况下，访问SSD上的权重所消耗的能量占总

内存加载的数据量的需求。因此，在实现高能效的同时每标记能量的惊人比例达80%，凸显了能源惩罚的严

保持高内存带宽已成为可持续、响应迅速的LLM推理重性。

服务的关键。典型的数据中心系统（如NVIDIADGX尽管目前存在这一缺点，但如果未来的Flash技术

H100）采用包括设备内存（如HBM）、CPU内存（如能够实现更好的能效（即使仍高于DRAM），MoE稀

DDR）和基于NANDFlash的存储（SSD）在内的多层疏性和SSD容量的结合可能会提供一种比小型密集模

次内存架构。尽管FlashSSD在每比特容量成本上低于型更高效地运行大型高精度模型的方法。因此，这项工

DR