UQLM：一个用于大型语言模型中不确定性量化的大括号 Python 软件包-计算机科学-大语言模型-不确定性量化-幻觉检测-人工智能安全.pdfVIP

UQLM:UncertaintyQuantificationforLanguageModels

UQLM：一个用于大型语言模型中不确定性量化的大括号Python

软件包

DylanBouchard1dylan.bouchard@

MohitSinghChauhan1mohitsingh.chauhan@

DavidSkarbrevik1david.skarbrevik@

Ho-KyeongRa1hokyeong.ra@

VirenBajaj1bajajv@

ZeyaAhmad1zeya.ahmad@

1CVSHealth,Wellesley,MA

本

译Abstract

中

幻觉被定义为大型语言模型（LLMs）生成虚假或误导性内容的情况，这给下游应用的安全

1

v性和可信度带来了重大挑战。我们介绍了一个名为uqlm的Python包，用于使用最先进的

6不确定性量化（UQ）技术进行LLM幻觉检测。此工具包提供了一套基于UQ的评分器，

9

1计算从0到1的响应级置信分数。该库提供了现成的基于UQ的幻觉检测解决方案，可以

6轻松集成以增强LLM输出的可靠性。1

0

7.Keywords:大型语言模型，不确定性量化，幻觉检测，Python，人工智能安全

0

5

21.介绍

:

v

i大型语言模型（LLMs）彻底改变了自然语言处理领域，但它们生成虚假或误导性内容

x

r

a的倾向，即所谓的幻觉，严重损害了安全性和信任度。LLM幻觉尤其成问题是因为它们往

往看似合理，难以检测，并在医疗、法律和金融等高风险领域构成严重风险。随着LLMs在

现实世界中的应用越来越广泛，监控和检测幻觉变得至关重要。

传统的评估方法涉及通过将模型输出与人类编写的基准文本进行比较来“评分”大语言

模型的响应，这种方法由Evals(OpenAI,2024)和G-Eval(Liuetal.,2023)等工具包提供。

虽然在部署前测试中有效，但由于用户通常无法访问生成时的真实数据，这些方法在实践中

受到限制。这一不足促使需要在生成时检测幻觉的方法。

现有解决此问题的方法包括源对比方法、基于互联网的验证和不确定性量化（UQ）方

法。提供源对比评分器的工具包，如Ragas(Esetal.,2023)，Phoenix(ArizeAI,2025)，

DeepEval(IpandVongthongsri,2025)和其他(Huetal.,2024;UpTrainAITeam,2024;Zha

1.注意：本文无意反映作者所属公司的具体工作、实践或观点。任何与实际做法的相似之处均属巧合。所有观

点均为作者个人意见。

1

Bouchardetal.

etal.,2023;Asaietal.,2023)评估生成内容与输入提示之间的一致性。然而，这些方法可能

会误验证仅模仿提示措辞而不确保事实准确性的响应。利用互联网有哪些信誉好的足球投注网站进行事实核查的工具

包，如FacTool(Chernetal.,2023)，引入了延迟