通过信息几何和量子度量重新思考大语言模型训练-计算机科学-大语言模型-模型训练.pdfVIP

通过信息几何和量子度量重新思考大语言模型训练

RiccardoDiSipio

Dayforce,HCM

riccardo.disipio@

2025年7月5日

摘要

本大型语言模型（LLMs）的优化在具有非欧几里得结构的高维参数空间中展开。信息几何利

译用费舍尔信息度量来构建这一景观，使通过自然梯度下降[1,2]实现更原则的学习成为可能。尽

管这通常不切实际[10]，这种几何视角澄清了诸如尖锐极小值、泛化和观察到的缩放定律[7]等

中现象。我们主张，考虑曲率的方法加深了我们对LLM训练的理解。最后，基于Fubini–Study

3度量和量子费舍尔信息[3,11]，我们推测出量子类比，暗示在量子增强系统中的高效优化。

v

0

3

81介绍

5

1

6.大型语言模型（LLMs）的优化既揭示了显著的成功，也提出了深刻的理论难题。随着这些模

0型规模的扩大，它们表现出更平滑的损失景观、更好的泛化能力和经验上可预测的表现。这些趋势

5

2被形式化为缩放定律，将计算量、数据和参数数量与损失[6,7]联系起来。然而，这些模式背后的

:

v原因仍然不完全明了。是什么决定了大规模下的损失景观的形状？为什么某些架构比其他架构更高

i

x效地收敛？我们的优化工具是否适合学习过程的真实几何形态？

r

a

在这篇论文中，我们探索了一个推测性的但有结构的假设：某些大型语言模型训练动力学的特

征——特别是那些涉及曲率、收敛性和泛化性的特征——可能通过量子几何的视角得到更清晰的理

解。虽然量子力学和深度学习在不同的领域运作，两者都描述了根据变分原理演化并表现出对局部

曲率敏感性的高维系统。量子系统在一个配备有富比尼—斯图迪度量的流形中演化，这是一种黎曼

几何学，定义了纯量子态之间的距离。这种度量诱导出量子费舍尔信息矩阵（QFI），它测量参数变

化的局部灵敏度，并编码了一个比其经典对应物[5,9]更锐利、更丰富的几何结构。

相比之下，传统的深度学习仅在显式近似时才使用诸如费舍尔信息矩阵这样的曲率感知方法，

如自然梯度下降[2]。但这些方法在大规模应用中很少实用：计算或求逆费雪信息矩阵在高维情况

下计算成本高昂且不稳定。然而，量子系统实现它们的内在优化几何结构。它们不近似曲率；而是

嵌入它。这种不对称性突显了一个关键差异：经典模型难以访问二阶结构，而量子系统本质上是在

一个高度弯曲的流形上进行优化。

从这个角度来看，训练一个大型语言模型并不不同于量子系统坍缩到一个测量结果。梯度下降

作为一个带有噪声的、迭代地向低损失状态投影的过程，受到随机数据暴露和局部曲率的影响。波

1

函数坍缩、能量最小化以及叠加原理的类比为描述大规模模型如何在参数空间中移动提供了一种新

的词汇——或许也为改进它们的训练提供了新工具。

本文其余部分详细阐述了这一论点。第2节介绍了优化、费雪几何和量子态空间的相关概念。

第3节将我们的工作置于经典和量子机器学习文献的更广阔背景中。第4节讨论了优化、缩放行为

和算法设计的影响，并概述了未来方向。我们通过反思比喻作为跨学科桥梁工具的价值，以及量子

几何可能教会我们训练更好模型的可能性来得出结论。

2理论背景

本节介绍了优化大语言模型的关键思想以及量子力学的基础几何结构。尽管这些领域在应用和

背景上有所不同，但它们共享了大量的数学框架。我们的目标不是形式化每一个元素，而是为后续

章节探讨的类比建立直觉。

2.1优化与几何在大语言模型中的应用

现代大型语言模型（LLMs）依赖于一阶优化