VeriMinder：缓解 NL2SQL 中的分析漏洞-计算机科学-机器学习-大语言模型-自然语言处理.pdfVIP

VeriMinder：缓解NL2SQL中的分析漏洞

ShubhamMoholeSainyamGalhotra

CornellUniversityCornellUniversity

sam588@sg@

摘要

本

译使用自然语言接口到数据库（NLIDBs）的

中应用系统已使数据分析普及化。这一积极

1发展也带来了帮助可能没有统计分析背

v景的用户制定无偏见分析问题的紧迫挑图1:来自实验数据集的示例，显示VeriMinder通

6

9战。尽管有大量研究关注文本到SQL生过改进建议减轻偏见

8成准确性，但在分析问题中解决认知偏差

7

1的问题仍然未得到充分探索。我们提出了

.1介绍

1

7VeriMinder，，一个用于检测和缓解此类分

0

5析漏洞的交互式系统。我们的方法引入了自然语言到SQL（NL2SQL）系统已成为

2三个关键创新：（1）适用于特定分析上下实现数据访问民主化的重要技术，使非技术人

:

v文的相关偏见的语境语义映射框架（2）操

i员无需专门的SQL知识即可查询复杂数据库。

x作化难变原则并引导用户进行系统数据分

r然而，这一积极发展并非没有重大风险。从一

a析的分析框架（3）一种优化的LLM驱动

系统，该系统通过涉及多个候选者、批评个根本上存在问题的分析问题衍生出的技术

反馈和自我反思的结构化过程生成高质量上完美的SQL查询将产生误导性的结果。像

的任务特定提示。SQLPalm(Sunetal.,2023),SPLASH(Elgohary

etal.,2020)和DAIL-SQL(Gaoetal.,2023)这样

用户测试证实了我们方法的优点。在直接的系统专注于NL2SQL准确性，但并未考虑用

用户体验评估中，82.5%的参与者报告说这户原始问题的分析质量。

对分析质量有积极影响。在比较评估中，考虑图1所示的示例：一名金融分析师被

VeriMinder的得分显著高于其他方法，在要求识别“处于风险中的贷款账户”，但却询问

衡量分析的具体性、全面性和准确性方面

了“拥有最大贷款的客户”。此查询展示了多种

至少高出20%。我们的系统作为网络应用

认知偏差：(1)相似性偏差-错误地假设“最大

程序实现，旨在帮助用户在数据分析过程

中避免“错误问题”的漏洞。包含提示2贷款”和“处于风险中的贷款”是相似类别，(2)

的VeriMinder代码库作为MIT许可的开源框架偏差-将问题围绕贷款规模而非风险因素