《金融大模型应用评测指南》.docx

Q/LB.□XXXXX-XXXX

PAGE2

ICS

FORMTEXT?????

CCS

FORMTEXT?????

FORMTEXT点击此处添加CCS号

FORMTEXT?????团体标准

T/FORMTEXTXXXFORMTEXTXXXX—FORMTEXTXXXX

FORMTEXT?????

FORMTEXT金融大模型应用评测指南

FORMTEXTGuidetoEvaluatingFinancialLargeModelsApplication

FORMDROPDOWN

FORMTEXT?????

FORMDROPDOWN

FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX发布

FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX实施

FORMTEXT???????发布

2

金融大模型应用评测指南

范围

本文件提出了大模型在金融垂直领域应用需要具备的核心能力及评测方法，包括模型基础能力、金融安全与价值对齐能力、金融风险控制能力、金融专业认知能力、金融业务辅助拓展能力五个方面。

本文件适用于大模型在银行、证券、保险、基金、信托等金融垂直领域应用效果相关的评测工作。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB/T25069-2010信息安全技术术语

GB/T41867-2022信息技术人工智能术语

GB/T5271.1-2000信息技术词汇第1部分：基本术语

术语和定义

GB/T41867-2022界定的以及下列术语和定义适用于本文件。

大模型largemodel

在大量数据上训练得到，具有复杂计算架构，能处理复杂任务，且具备一定泛化性的深度学习模型。

金融语料financialcorpus

金融领域相关文本、图片、音频、视频等数据的集合，可用于训练和优化金融大模型，以提升其在金融领域的应用效果。

单模态维度Monomodaldimension

单模态维度主要包括文本、图像、音频3个二级维度。

多模态维度multimodaldimension

多模态维度主要包括图文、文音、图音、图文音4个二级维度。

价值对齐valuealignment

大模型的能力和行为与人类的价值、真实意图和伦理原则相一致，以确保人类与人工智能协作过程中的安全与信任。

缩略语

AI：人工智能（ArtificialIntelligence）

IPO：首次公开招募（InitialPublicOffering）

概述

基本框架

本文件聚焦大模型在金融垂类领域的应用效果评估，从模型基础能力、金融专业认知能力、金融业务辅助拓展能力、金融风险控制能力、金融安全与价值对齐能力五大维度构建了金融大模型应用评测架构体系，如图1所示。

图1金融大模型应用评测架构体系

评测维度

5.2.1模型基础能力

基于大规模AI语料库训练得到的金融大模型所具备的能力，应遵循《人工智能大模型第2部分：评测指标与方法》中的相关规范和要求，包括单模态和多模态两个维度方面的能力。

单模态能力中主要涉及文本、图像、音频三个方面能力，具体包括：

a)文本分类；

b)信息抽取；

c)因果推理；

d)常识推理；

e)任务分解；

f)文本问答；

g)多轮对话；

h)代码理解；

i)长文本理解；

j)静态图像分类。

多模态能力中涉及文本、图像两个方面能力，具体包括：

图文检索；

静态图像问答；

视觉语言推理；

视觉蕴含；

视频问答；

图表推理。

5.2.2金融安全与价值对齐

大模型在业务活动中研判输出内容的合规和敏感性能力，包括但不限于以下内容：

a)《网络数据安全管理条例》要求；

b)内容合规；

c)应用场景合规性；

d)安全审计与监控；

e)金融逻辑合理性；

f)维护金融市场稳定；

g)伦理价值；

h)情绪价值；

i)文化价值；

j)社会价值。

5.2.3金融风险控制能力

大模型在金融业务活动中识别、评估、监控、应对和管理金融风险的能力，包括但不限于以下内容：

合规风险；

市场风险；

操作风险；

流动性风险；

信用风险；

舆情风险。

5.2.4金融专业认知能力

大模型在金融领域中所展现出的理解、分析、决策和应用金融知识的能力，包括但不限于以下内容：

金融基础知识能力;

金融信息解读能力。

5.2.5金融业务辅助拓展能力

大模型在银行、基金、保险、证券、信托等垂直领域的核心业务能力，可分为