迈向小型语言模型服务的帕累托最优吞吐量.pdfVIP

迈向

小型语言模型服务的帕累托最优吞吐量

PolG.RecasensYueZhuChenWang

BarcelonaSupercomputingCenterIBMResearchIBMResearch

pol.garcia@bsc.esYue.Zhu@Chen.Wang1@

EunKyungLeeOlivierTardieuAlaaYoussef

IBMResearchIBMResearchIBMResearch

eunkyung.lee@tardieu@asyousse@

JordiTorresJosepLl.Berral

本BarcelonaSupercomputingCenterUniversitatPolitècnicade

译UniversitatPolitècnicadeCatalunya

中CatalunyaBarcelonaSupercomputingCenter

jordi.torres@bsc.esjosep.ll.berral@

3

v摘要上被认为归功于规模，但最近的研究表明，精心策划

3

5的数据集可能在训练高性能模型[5,8,9]中发挥重要

3大型语言模型（LLMs）彻底革新了许多不同的自然语

3言处理任务的必威体育精装版技术。尽管部署LLMs在计算和内作用。这种范式转变与新的服务优化策略相结合，对

0资源受限的用户产生了重大影响，现在他们能够提供

.存方面要求很高，但小型语言模型（SLMs）的兴起为

4最先进的小型模型。小型语言模型（SLMs）的兴起代

0资源受限的用户提供了新的机会，现在这些用户能够

4表了使AI更加普及的重要一步。

2使用具有前沿性能的小型模型。本文中，我们介绍了

:尽管SLMs的规模较小，自回归语言模型的增量

v一系列旨在从性能和能耗水平对SLM推理进行基准

i解码限制了其服务性能。由于自我注意力层中的数据

x测试的实验。我们的分析提供了一个新的服务视角，

r依赖性，我们每次迭代处理一个标记，导致矩阵-向量

a强调了SLMs的小内存占用量允许在单一加速器的资

运算。这与从内存加载模型权重的巨大成本结合在一

源容量内达到帕累托最优吞吐量。在这方面，我们展

起，在单批次推理[12]期间导致算术强度非常低。增

示了初步的研究成果，证明了模型复制如何有效地提

加算术强度的一种方法是定义为算术运算与访问字节

高服务于SLMs的资源利用率。

之间比率的批量请求，并计算相同权重传输