控制多语言大语言模型中的语言混淆-计算机科学-大语言模型-机器学习-算法.pdf

控制多语言大语言模型中的语言混淆

NahyunLee1,3YeongseoWoo1HyunwooKo2,3GuijinSon2,3

ChungangUniversity1OneLineAI2MODULABS3

naa012@cau.ac.krspthsrbwls123@yonsei.ac.kr

摘要重要(Sonetal.,2024a)。这个问题在资源有限

大型语言模型经常遭受语言混淆的影响，的情况下尤为突出，在这种情况下，有限的监

本这是一种响应部分或完全以非预期语言生督加剧了跨语言干扰(Arivazhaganetal.,2019;

成的现象。这严重影响了用户体验，尤其Wangetal.,2023)。

译是在资源有限的情况下。我们假设这个问然而，关于为什么此类行为可能发生的研

中题源于传统微调目标的局限性，如监督学究很少。在这项工作中，我们借鉴了Hongetal.

2习，这些方法优化正确标记的可能性而不

v(2024)提出的训练方法论，该方法将监督微调

6明确惩罚诸如跨语言混合等不希望出现的应用于偏好的生成风格，同时对不受欢迎的风

1输出。对预训练期间损失轨迹的分析进一

1步揭示模型无法区分单语和多语言混合文格施加惩罚。

9

1本，凸显了避免这种混淆的内在压力缺失。在这项工作中，我们进行了两个实验来调

.

5在这项工作中，我们应用ORPO，它在标准查语言混淆是否源于缺乏对不希望出现的语言

0

5SFT中添加了对不需要的输出样式的惩罚，的明确惩罚。

2有效抑制了语言混乱的生成。即使在高解

:首先，我们追踪了两个模型系列

v码温度下，ORPO也保持强大的语言一致

i（SmolLM2(Allaletal.,2025)和OLMo2(OLMo

x性，同时保留了一般问答性能。我们的研

r

a究结果表明，在多语言模型中加入适当的etal.,2024)）在整个预训练过程中的训练损

惩罚项可以有效地减轻语言混淆，特别是失。在两种情况下，语言混淆输出的损失随着

在资源有限的情况下。时间稳定下降，表明模型并没有学会去避免生

成混淆的内容。此外，通过使用ORPO(Hong

1介绍

etal.,2024)进行额外三个周期的微调，我们展

扩大语言模型的规模在多语言能力方面取示了引入对不想要的语言的明确惩罚有效地限

得了显著的实际收益(Hurstetal.,2024;Cohere制了语言混淆。

etal.,2025;Yangetal.,2025),涵盖了诸如机

器翻译(Alvesetal.,2024)、摘要生成(Forde2预备知识

etal.,2024)和推理(Sonetal.