KinyaColBERT:-一个针对低资源检索增强生成的词法基础检索模型-计算机科学-大语言模型.pdfVIP

KinyaColBERT:一个针对

低资源检索增强生成的词法基础检索模型

AntoineNzeyimanaAndreNiyongaboRubungo

UniversityofMassachusettsAmherstPrincetonUniversity

anthonzeyi@niyongabor.andre@

摘要的自然语言作为对命令或提示的响应。这种语

言生成能力可以集成到互动语音应答（IVR）

大型语言模型（LLM）技术的近期主流采纳

系统中，这些系统可访问在许多发展中国家农

本正在跨多个领域以聊天机器人和虚拟助手村地区常用的特能手机，从而改善信息获取渠

译的形式推动新型应用的发展。为了使LLMs道。事实上，现有经济研究(Hodrabetal.,2016;

中扎根于可信领域并避免幻觉问题，检索增BahriniandQaffas,2019;Kurniawati,2022)表明

强生成（RAG）作为可行解决方案应运而

1生。为了在资源匮乏环境中部署可持续的信息技术直接促进了发展地区的经济增长。因

v

1RAG系统，实现高检索准确性不仅是一个此，在教育、医疗和农业等重要领域，LLM技

4

可用性要求，也是一种成本节约策略。通

2术有可能对发展中国家产生类似积极影响。

3过基图卢瓦语数据集的经验评估，我们发

0在使用大型语言模型（LLM）回答一般性

.现，在达到高检索准确性方面最有限制性

7问题时面临的挑战之一是，这些模型有时会产

0的因素是预训练语言模型中的受限语言覆

5盖范围和不充分的子词分词。我们提出了生幻觉(Huangetal.,2025)，并生成非事实性的

2

:一种新的检索器模型KinyaColBERT，它融答案。为了对抗大语言模型的幻觉现象，检索

v

i合了两个关键概念：查询与文档之间的后增强生成（RAG）(Guuetal.,2020;Lewisetal.,

x

r期词汇级互动，以及基于形态学的分词结2020)被提出作为一种有效的方法，使大型语

a

合双层变换编码。该方法产生了既精细又言模型的回答能够基于事实数据。这需要在给

自包含的语境嵌入。我们的评估结果显示，

大型语言模型的提示中提供额外的数据作为知

KinyaColBERT在基图卢瓦语农业检索基准

识库，在生成答案时供其参考。当回答专业领

上超越了强大的基础模型和领先的商用文

本嵌入API。通过采用这种检索策略，我们域的问题时，这种对大型语言模型的控制方式

相信其他资源匮乏环境中的从业者不仅可更加重要。