增强日语大型语言模型的推理向量.pdfVIP

增强日语大型语言模型的推理向量

12,4341

CarolinaMinamiOguchi,LeoWei,KoyoKobayashi,Hsin-TaiWu,DipakGhosal

1UniversityofCalifornia,Davis,2SantaClaraUniversity,

3NTTDOCOMO,INC,4DOCOMOInnovations,Inc

coguchi@,twei2@,kouyou.kobayashi.gv@,hwu@,dghosal@

摘要v3(Liuetal.,2024)结合使用模型检查点生成并

评估用于SFT的数据。

训练后的方法已经提高了主流大型语言模

本型（LLMs）的性能并增强了其推理能力，但相比之下，日本的大语言模型（LLMs）在

日本语LLMs却由于所需资源的数量而难应用后训练技术时面临着不同的挑战。公共数

译以实现同样的效果。受到任务向量的启发，据集和专家注释者的有限可用性阻碍了以相当

中这些任务向量能够提取特定任务前后权重规模进行后训练的能力。此外，缺乏稳健、大

1的变化，我们从推理型LLMs中获取推理规模的日语模型来有效评估和过滤数据质量进

v

3向量，并将其应用到日本语LLMs上以提一步复杂化了这些努力。而且，依赖从英语翻

1升它们的性能。尽管现有的资源对改进日

9译过来的数据可能会有问题，因为翻译通常无

2本语LLMs构成了挑战，但我们提出了一

0.种简单而有效的方法来获得显著的提升，法捕捉到日语的语义细微差别、文化背景和完

8并希望这种方法能为其他语言带来启发。整的语义丰富性，这可能会影响模型的表现。

0

5为了克服这些挑战，我们探索了一种新颖

21介绍

:的方法，从主流的LLMs中提取推理向量并将

v

i大型语言模型（LLMs）的必威体育精装版进展表明，其转移到日语模型中。通过注入这些推理向量，

x

r诸如监督微调（SFT）和强化学习（RL）之类的我们的目标是在不进行额外训练的情况下提升

a

训练后技术可以显著提升模型性能。这些方法日语LLMs的推理能力。

在数据集整理过程中高度依赖人类参与，并利

2相关工作

用主要模型进行数据质量过滤，这些工作主要

集中于英语和其他资源丰富的语言上。Qwen2.1日本的大型语言模型和训练数据集

3旗舰模型(Yangetal.,2025)使用四阶段训大语言模型虽然主流的LLM(Naveedetal.,

练后管道，分别使用Qwen2.5-72B-Instruct和2023)模型和训练数据集已经有很多，但这种情

QwQ-32B(Team,2025)进行查询和响应过滤。况并未出现在日语领域。LLM-jp(LLM-jp,2024)

人工注释被纳入以解决响应过滤中的问题。同是一个跨组织的努力，旨