警惕AI“信口开河”：大语言模型幻觉控制能力深度测评报告.docxVIP

1

警惕AI“信口开河”：大语言模型幻觉控制能力深度测评报告

摘要

在人工智能浪潮席卷全球的背景下，大语言模型（LLM）正加速扎根知识服务、医疗诊断、商业分析等专业领域，其应用深度与广度持续拓展。然而，一个关键障碍始终横亘在前：“幻觉”——即输出看似逻辑自洽，实则与事实相悖或偏离语境的现象——已成为制约其可信度的关键瓶颈。为此，香港大学蒋镇辉教授领衔的人工智能评估实验室（AIEL），针对37个中美大语言模型（含20个通用模型、15个推理模型、2个一体化系统），从事实性、忠实性幻觉两方面评估其幻觉控制能力。测评结果显示，GPT-5（思考模式）和GPT-5（自动模式）分别斩获冠亚军，Claude4Opus系列紧随其后；字节跳动公司的豆包1.5Pro系列表现突出，领跑国产模型阵营，但与国际顶尖模型之间仍存在显著差距；整体来看，本次测评模型更擅长于避免产生忠实性幻觉、但事实性幻觉控制能力仍有短板。这项研究揭示了AI可信度需兼顾事实与忠实性幻觉协同提升的必要性，为未来模型的优化提供了明确方向，推动AI从“能生成”向“可信赖”的关键性迈进。

2

大语言模型（LLM）正被迅速地应用在知识服务、决策支持、智能导航、客户服务等专业场景的核心环节。而在这一过程中，LLM生成内容的真实性与可靠性，成为了支撑其应用价值的核心基石。

“幻觉”现象——即模型输出看似合理却与事实不符或偏离语境——已成为制约其可信度的核心问题。识别大语言模型的幻觉问题尤为重要：比如，在金融领域，一个虚构的并购公告或一套捏造的财务数据如若被大模型使用，会误导投资人做出错误的决策；在法律领域，大模型或许会错误地引用一个不存在的法律判例或已失效的条款来生成法律咨询，造成无法挽回的后果；而在医疗保健领域，大模型模型有可能因幻觉而将两种不同疾病的症状混淆，从而提出错误的诊断或治疗方案，直接威胁到患者的生命健康。因此，控制幻觉的能力，成了衡量AI可信度的“生死线”。

为此，由蒋镇辉教授领导的香港大学经管学院人工智能评估实验室（AIEL）针对37个中美大语言模型（含20个通用模型、15个推理模型和2个一体化系统）的幻觉控制能力开展专项测评，旨在揭示不同模型在规避事实错误与保持语境一致性方面的真实表现。

“幻觉”分类

“幻觉”指模型生成内容在事实依据或语境契合度上存在的问题，具体分为两类：事实性幻觉和忠实性幻觉。事实性幻觉是指模型输出内容与真实世界信息不符，既包括对已知知识的错误调用（如张冠李戴、数据错记），也包括对未知信息的虚构（如编造未验证的事件、数据）。忠实性幻觉是指模型未能严格遵循用户指令，或输出内容与输入上下文矛盾，包括遗漏关键要求、过度引申、格式错误等。为清晰呈现大语言模型幻觉的产生路径，并帮助读者更好理解，其核心要素的简要示意图如图1所示。

3

图1.大模型幻觉产生示意图

测评任务与标准

（1）测评题目

l事实性幻觉测试题。此类题目旨在考察模型输出内容与客观事实的一致性，设计过程结合现有研究成果与大模型实际应用中的常见错误模式，具体分为三类：

1）信息检索类：这类问题聚焦对精确信息的查询需求。我们通过设计自主查询式问题（覆盖人物、历史、文献等关键维度），要求模型基于这些问题自主开展信息检索。最终通过对信息真实性的验证，考察模型是否会生成过时或虚构的答案（具体示例见表1）；

4

表1信息检索类题目示例

题目

参考答案

模型错误回答示例

帮我在这段文字的括号内插入三篇文献，在后面并给出文献标题：了解消费者的个性化隐私偏好对于企业和政策制定者而言至关重要，有助于建立信任与合规机制，并指导有效的政策制定。现有方法大多依赖于私密信息，如专有的用户行为数据以及个体层面的?口统计和社会经济因素，或者需要用户明确输入偏好，这些方式可能具有侵入性且较为繁琐，进而可能引发用户不满（文献插在这里）。

参考答案包括但不限于：

[1]Awad,N.F.,Krishnan,M.S.(2006).Thepersonalizationprivacyparadox:Anempiricalevaluationofinformationtransparencyandthewillingnesstobeprofiledonlineforpersonalization.MISQuarterly,3