大规模高级金融推理：大型语言模型在 CFA 三级水平上的全面评估-计算机科学-大语言模型-金融推理-金融应用.pdfVIP

大规模高级金融推理：大型语言模型在CFA三级水平上的全面评估

PranamShetty,AbhisekUpadhayaya,ParthMiteshShah,SrikanthJagabathula,Shilpi

Nayak,AnnaJooFee

RochesterInstituteofTechnology,GoodFin,Inc,NewYorkUniversity

ps9960@,{parth,shilpi,anna}@,au2216@,sjagabat@

Abstract融分析所需的细微推理能力，在这种情况下，从业人员

必须综合定量数据、监管知识和市场动态来做出投资决

随着金融机构越来越多地采用大型语言模型

策[9]。

（LLMs），进行严格的专业领域评估对于负责

特许金融分析师（CFA）三级考试代表了一个理想

任的部署变得至关重要。本文介绍了一个全面

的评估框架，是投资管理专业人士的最终考核。三级考

的基准测试，评估了23个最先进的LLM在特

本试是考生通过一级和二级后参加的最后一项CFA考试，

许金融分析师（CFA）三级考试中的表现——

译这是高级财务推理的黄金标准。我们使用多种主要集中在组合管理和财富规划上，评估候选人将财务

知识应用于实际场景的能力[4,7]。它采用混合格式，包

中提示策略，包括连贯思维和自我发现，对多项选括11个题组或多选题（MCQ）和11篇作文或构建性回

1择题（MCQs）和论文式回答进行了评估。我们答问题。每个题目集都始于一个叙述情景和数据（案例

v的评估显示领先的模型表现出强大的能力，在

4描述），考生必须仔细分析这些信息来回答问题。这种双

5CFA三级考试中综合得分如o4-mini为79.1%，重形式全面测试了高级认知技能，包括分析、综合和专

9Gemini2.5Flash为77.3%。这些结果是在修

2业判断[12]，而不仅仅是死记硬背。考试严格的标准，体

订后的更严格的论文评分方法下取得的，表明

0现在通常50-60%的通过率上，使其成为评估LLM在高

.LLM在高风险金融应用方面的能力有了显著

7级金融推理方面能力的一个优秀基准。

0进步。我们的研究发现为从业者选择模型提供先前的研究表明，尽管在分析时最先进的模型在

5了关键指导，并强调了成本效益部署中的剩余

2CFA一级和二级考试中表现得相当不错，但它们在三

:挑战以及需要对专业基准下的表现进行细致解

v