面向实例优化的 LLM 在 OLAP 数据库中的案例-计算机科学-大语言模型-实例优化.pdfVIP

面向实例优化的LLM在OLAP数据库中的案例

1,∗1

BardiaMohammadi,LaurentBindschaedler

1MaxPlanckInstituteforSoftwareSystems,Saarbrücken,Germany

Abstract

大型语言模型（LLMs）可以通过强大的数据总结、清理和语义转换能力来增强分析系统。然而，在大规模部署LLMs——处理

数百万到数十亿行数据时，计算和内存成本仍然高得令人望而却步。我们提出了IOLM-DB，这是一个新型系统，通过针对特

定查询的模型优化使得带有LLM增强的数据库查询变得实用。与使用通用型LLMs不同的是，IOLM-DB利用代表性的数据样

本生成轻量级、专门化模型以满足每个查询的具体需求。IOLM-DB通过激进的压缩技术（包括量化、稀疏化和结构剪枝）将

模型占用减少高达76%，同时吞吐量提高到3.31×，而保持准确性。我们进一步展示了我们的方法如何在现有硬件上实现更高

的并行性，并无缝支持缓存和批处理策略以降低开销。我们的原型证明了在分析系统内部利用LLM查询是可行的，这为未来

的OLAP应用打开了新的可能性。

Keywords

分析,数据立方体,在线分析处理,大语言模型,实例优化,可扩展性,量化,稀疏化,剪枝

1.介绍这种逐行推理导致了高计算开销，因为即使是

简单的查询也可能触发数百万甚至数十亿次大

本大语言模型在自然语言理解和生成方面表现出型语言模型调用，从而导致过度的延迟和资源

译卓越的能力[1,2,3,4]。数据管理中的一个有前消耗，特别是在处理大表时。尽管运行本地模

中景的应用是将大语言模型的提示整合到数据库型[3,7]而非基于云的模型[8,9,2]可能会减少

查询中。这种方法特别适用于分析型数据库系成本和延迟，但开销通常相对于传统数据库操

1

v统，使用户能够在查询中直接利用大语言模型作仍然显著，并且由于缺乏共定位加速器和大

7的力量[5,6]。例如，对于一个非结构化产品评内存需求，运行大规模分布式模型可能会具有

6

9论表，用户可以编写如下查询：挑战性。这些限制凸显了开发高效策略以将大

4

0SELECTproduct_id,user_id,型语言模型集成到分析工作流程中而不影响性

.

7prompt(summarizein5words:||能或可扩展性的必要性。

0review)AS我们提出了一种实用的方法来缓解这些

5

2review_summary挑战：针对数据库实例优化的大型语言模型

:

vFROMproduct_reviews;

i（IOLM-DB）。通过将模型调整为特定查询和数

x

r这种方法为在数据库内部直接生成、汇总、清据库实例的工