基于 LLM 的嵌入式先前案例检索-计算机科学-机器学习-信息检索-大语言模型.pdfVIP

基于LLM的嵌入式先前案例检索

DamithPremasiri,TharinduRanasinghe,RuslanMitkov

SchoolofComputingandCommunications,LancasterUniversity,UK

{d.dolamullage,t.ranasinghe,r.mitkov}@lancaster.ac.uk

Abstract专注于通过关键字匹配来检索文档(Chowd-

在普通法体系中，律师和法官等法律专业hury,2010)。随着向量空间模型的引入，这一范

人士依赖于先例来构建他们的论点。随着式逐渐发生了变化，使得对查询与文档之间语

案件数量随着时间的推移大幅增加，有效义关系的理解更加复杂(Saltonetal.,1975)。最

地检索先前案例变得至关重要。先前案例初，这些模型依赖于统计语言模型(Songand

本检索（PCR）是一项信息检索（IR）任务，Croft,1999)，但在近年来，神经向量空间模

译旨在从大量潜在候选人中自动识别出与特型在信息检索(Guoetal.,2016;Xiongetal.,

定查询最相关的法院案例。尽管在过去的

中2021)中取得了显著的性能。最近，大型语言模

几年里IR方法经历了几次范式转变，但

1型（LLMs）已被整合到这些向量空间模型中作

v大多数PCR方法仍然依赖于传统的IR方

5法，例如BM25。最先进的深度学习IR方为嵌入器，进一步提升了性能(Maetal.,2024;

5法由于两个关键挑战而在PCR方面没有取Ranasingheetal.,2025)。基于LLM的嵌入

4

8得成功：i.长篇法律文本限制；在使用基器在诸如多任务评估基准(Muennighoffetal.,

1

.于BERT的变压器模型时，存在输入文本2023)和BEIR(Thakuretal.,2021)等文本检

7

0长度的限制，这不可避免地需要通过截断索基准测试中占据主导地位。

5或分割来缩短输入，从而导致法律背景信

2先前案例检索（PCR）是一种信息检索应

:息的丢失。ii.缺乏法律培训数据；由于数

v用，其目标是从一个大型的历史法律数据库

i据隐私问题，可用的PCR数据集通常规模

x中检索出与给定查询案件(Fangetal.,2022;

r有限，使得难以有效训练基于深度学习的

a

模型。在这项研究中，我们通过利用基于Fengetal.,2024;Lietal.,2021;Tranetal.,

LLM的文本嵌入器来解决这些挑战。基于2020)相似的案例。无论一个国家遵循何种法

LLM的嵌入器支持更长的输入长度，并且律体系，PCR都具有实质性的实用价值。在普

因为我们以无监督的方式使用它们，所以通法系（如英国和印度），法律专业人士，例