中文大模型基准测评2025年9月报告.pptxVIP

中文大模型基准测评2025年9月报告

——2025年中文大模型阶段性进展9月评估

2025.10.16

精准量化通用人工智能（AGI）进展，定义人类迈向AGI的路线图

AccuratelyQuantifyingtheProgressofAGI,

DefiningtheRoadmapforHumanitysJourneytowardsAGI.

1.海外模型保持头部优势，国内模型继续追赶。

在本次9月通用测评中，海外模型占据了榜单前6，其中GPT-5(high)以69.37分遥遥领先，o4-mini(high)（65.91分）、Claude-Sonnet-4.5-Reasoning（65.62分）、Claude-Opus-4.1-Reasoning（64.87分）、Gemini-2.5-Pro（64.68分）等紧随其后。国内的DeepSeek-V3.2-Exp-Thinking、Doubao-Seed-1.6-thinking-250715分别以62.62分和60.96分并列国内第一。

2.国内开源模型优势显著。

国内的DeepSeek-V3.2-Exp-Thinking（62.62分）、openPangu-Ultra-MoE-718B（58.87分）和Qwen3-235B-A22B-Thinking-2507（57.73分）分别位于开源模型榜单前三，大幅度领先海外开源最好模型gpt-oss-120b（53.05分）。

3.国内模型更具性价比，海外模型推理效率更高。

国内模型的API价格大多数处于0-10元/百万Tokens，平均API价格为3.88元/百万Tokens，而海外模型的API价格比较分散，从2-200元/百万Tokens不等，海外模型平均API价格为20.46元/百万Tokens，是国内模型API价格的5倍以上。

国内推理模型平均每题的推理耗时为101.07秒，而海外推理模型仅有41.60秒，海外推理模型的推理效率远高于国内推理模型。

报告摘要

2

中文语言理解测评基准CLUE（TheChineseLanguageUnderstandingEvaluation）是致力于科学、客观、中立的语言模型评测基准，发起于2019年。SuperCLUE是大模型时代CLUE基准的发展和延续，聚焦于通用大模型的综合性测评。本次2025年9月中文大模型基准测评聚焦通用能力测评，测评集由六大任务构成，总量为1260道简答题，测评集的介绍如下：

3.代码生成

介绍：该任务分为两大类型：一是独立功能函数生成，生成覆盖数据结构、算法等领域的独立函数。二是Web应用生成，要求模型构建旅游订票、电商、社交媒体等完整的交互式网站。

评价方式：通过单元测试进行0/1评分（独立功能函数生成)；通过模拟用户交互的功能测试进行0/1评分（Web应用生成)，本次评估的人类一致性约99%。

6.幻觉控制

介绍：主要考察模型在执行中文生成任务时应对忠实性幻觉的能力。包括但不限于文本摘要、阅读理解、多文本问答和对话补全等基础语义理解与生成创作数据集。

评价方式：基于人工校验参考答案的、对每个句子是否存在幻觉进行0/1评估，本次评估的人类一致性约95%。

5.精确指令遵循

介绍：主要考察模型的指令遵循能力，包括但不限于定义的输出格式或标准来生成响应，精确地呈现要求的数据和信息。涉及的中文场景包括但不限于结构约束、量化约束、语义约束、复合约束等不少于4个场景。

评价方式：基于规则脚本的0/1评估，本次评估的人类一致性约99%。

4.智能体Agent

介绍：主要考察在中文场景下基于可执行的环境，LLM作为执行代理在对话中调用工具完成任务的能力。包括单轮对话和多轮对话。涉及的中文场景包括但不限于汽车控制、股票交易、智能家居、旅行规划等10余个场景。

评价方式：结合任务完成与否、系统状态比对的0/1评估，本次评估的人类一致性约99%。

2.科学推理

介绍：主要考察模型在跨学科背景下理解和推导因果关系的能力。包括物理、化学、生物等在内的研究生级别科学数据集。

评价方式：基于参考答案的0/1评估，模型答案与参考答案一致得1分，反之得0分，不对回答过程进行评价。本次评估的人类一致性约98%。

1.数学推理

介绍：主要考察模型运用数学概念和逻辑进行多步推理和问题解答的能力。包括但不限于几何学、代数学、概率论与数理统计等竞赛级别数据集。

评价方式：基于参考