2025大语言模型翻译质量评测报告.docxVIP

北京第二外国语学院

大语言模型翻译质量评测报告（简版）

BISU-AiTQA（v1.0）

BISU-AiTQA（v1.0）面向国内外的六个大模型ChatGPT、Claude、Gemini、Grok、DeepSeek和通义千问，从当代文学、党政文献和外事新闻三个领域，在汉译英、日、俄、法、阿五个语种开展翻译质量评测研究。突破国际现有评测以英语为核心的现状，构建了以汉语为核心，覆盖多语种、多领域的大语言模型翻译质量评测体系，具有开创性意义，是促进中外人文交流，提升汉语全球表达力的积极探索。同时，该评测体系亦可广泛应用于翻译教学、语言测试等智能教学场景。

1.研究背景

1.1大语言模型翻译的发展现状

大语言模型的发展速度超乎想象，在翻译领域更是取得了前所未有的进展。从ChatGPT到Claude、Gemini，再到国内

的通义千问、DeepSeek等模型，它们在多个语种对的翻译任务

中已达到接近人类译者的水平，极大提升了译文的语言自然

度、术语一致性与语篇连贯性等，正在深刻改变翻译行业、教育方式与研究范式。

1.2核心挑战与评测需求

然而，从翻译学和语言学的角度审视，大语言模型在翻译任务中依然存在诸多挑战：

1.复杂句式处理能力不足：在处理嵌套结构或长距离依存关系的句子时，模型往往无法准确解析其语法层级和语义关系；

2.专业领域与文化负载问题：在专业领域，特别是文化负载较重的文本中，模型常缺乏足够的术语知识与文化理解，导致信息传递出现偏差；

3.汉语翻译表现差距：与英文翻译任务相比，模型在处理汉语翻译时的整体表现仍存在明显差距。

这些问题使我们迫切需要构建一个系统化、可解释的评测机制，以全面揭示大模型在多语翻译任务中的真实能力和潜在短板。

1.3机器翻译评测的发展历程

机器翻译质量评估并非新兴课题。自2006年ACL设立WMT以来，BLEU、METEOR、TER等自动指标被广泛应用于机器翻译系统性能评估。然而，这些传统指标主要基于词面重合和形式对齐，难以有效捕捉译文的深层语义特征。

近年来，随着大语言模型的兴起，评测重心逐步从传统统计机器翻译转向类人翻译能力评估，涌现出COMET、BERTScore等基于深层语义的评估指标，能够更有效地模拟人类对语义准确性和自然度的判断，进一步推动了翻译评测领域的发展。

1.4现有评测体系的局限性

现有评测体系仍存在三个核心问题：

?汉语地位边缘化：汉语在国际评测中仍处于边缘地位，主流评测多围绕英语展开，缺乏以汉语为源语言的评测资源；

?文本类型单一化：文本类型过于集中在通用语料，缺乏垂直领域的专业文本，无法有效评估模型在复杂专业领域中的翻译能力；

?评测视角局限性：大多数评测仍依赖单一视角，难以从语言本体出发进行系统性评估。即便引入了MQM等多维框架，也常面临领域适配性弱、语言学解释力不足等问题。

2.研究内容

2.1总体设计框架

为解决上述问题，本项目从“汉语主导、多语种、多领域”出发，构建了一个系统的翻译评测体系：

?语料维度：覆盖当代文学、党政文献与外事新闻三大领域，分别代表表达性、规范性与传播性三种语体特征；

?语种维度：设置英、日、法、俄、阿五种目标语言，实现“大语种+小语种”的组合结构；

?模型维度：涵盖Claude-3-7-sonnet、Gemini-1.5-pro-latest、GPT-4o、Grok-3、Qwen-Plus、DeepSeek-R1等六个中外主流大语言模型。

所有模型均通过统一Prompt与控制条件生成译文，确保评测的公平性与一致性。

2.2评测指标体系

本项目构建了“双维六项”指标体系：

2.2.1语言特征维度

?词汇多样性：从语言学视角考察译文词汇使用的丰富程度

?句法复杂度：评估译文句法结构的复杂程度和表达多样性

?篇章衔接度：检验译文在篇章层面的连贯性和衔接性

2.2.2神经网络维度

?整体翻译质量：使用COMET指标，对翻译质量进行综合评估

?语义忠实度：考察译文对原文语义的忠实度

?语言可接受度：评估译文的自然度和可读性

语言特征维度从语言学视角出发，关注译文的语言使用特性，可有效识别模型在词法、句法和篇章衔接方面的能力；神经网络维度则借助大模型和神经网络的深层语义建模能力，考察模型对语义的理解与重构能力。

3.评测发现与结论

3.1整体表现分析

从整体结果来看，所有模型在神经网络维度（COMET