从 2:4 到 8:16 大语言模型中离群值和带方差校正权重的稀疏模式-计算机科学-大语言模型-模型压缩.pdfVIP

从2:4到8:16大语言模型中离群值和带方差校正权重的稀疏模式

1,1,11

EgorMaximov,YuliaKuzkina,AzamatKanametov,AlexanderPrutko,

122

AlekseiGoncharov,MaximZhelnin,EgorShvetsov

1MILTeam

2SkolkovoInstituteofScienceandTechnology

Correspondence:egor.maximov@

indicatesequalcontribution.

摘要Frantaretal.,2025)。相比之下，结构化稀疏方

法，如N:M稀疏化，由于多种原因通常难以达

随着大型语言模型（LLMs）规模的增长，有

到这个阈值：

本效的压缩技术如量化和稀疏化变得至关重

译要。虽然量化能够在降低精度的情况下保•有限灵活性：在N:M方案中，每个块中的

中持性能，但结构化稀疏方法，例如N:M稀M个元素中有N个必须置零，这可以限制

疏化，往往由于灵活性有限以及对离群权模型的适应性(Zhangetal.,2022)。

1

v重的敏感性而表现不佳。我们探索了8:16•缺乏硬件支持：只有2:4的结构化稀疏性在

2半结构化稀疏化，证明其能够超越性能阈主流GPU上原生支持，将研究范围限制为

5

0值——即压缩模型在等效内存约束下达到这种特定模式(Huetal.,2024)。

3与其未压缩或更小版本相当的准确性。与

0•潜在异常值移除：即使移除或扰动少数几

.2:4稀疏化相比，8:16提供了更大的灵活性

7且存储开销最小（0.875vs.0.75位/元素）。个异常权重也会不成比例地降低模型准确

0

5我们还应用了突出权重的稀疏结构模式，性(Dettmersetal.,2023b)。

2

:表明离群值的结构化稀疏性可以与非结构因此，近期的压缩工作越来越多地倾向于

v

i化方法竞争并达到等效或更好的结果。最量化处理以确保其可靠性，而稀疏化方法的发

x

r后，我们证明简单的技术如方差校正和类

a展则相对滞后(Harmaetal.,2024;Frantaretal.,

似于SmoothQuant的权重均衡能够提升稀

2025)。这一差距促使我们对8:16半结构化稀

疏模型的表现。