超越欧几里得的学习-流形上神经网络的曲率自适应泛化-计算机科学-神经网络-黎曼流形-深度学习.pdfVIP

超越欧几里得的学习：流形上神经网络的曲率自适应

泛化

KrisanuSarkar

IndianInstituteofTechnologyBombay

210100082@iitb.ac.in

本摘要

译在这项工作中，我们为训练在黎曼流形上的数据的神经网络开发了新的泛化界限。现有的泛

中化理论通常依赖于从欧几里得几何导出的复杂性度量，这无法考虑到非欧几里得空间的内在结

构。我们的分析引入了一种几何优化：我们推导出了覆盖数界限，这些界限明确地包含了如截面

1

v曲率、体积增长和内射半径等流形特定属性。这些几何修正导致了在紧致流形上定义的Lipschitz

9神经网络类别的Rademacher复杂性界限更精确。所得泛化保证当曲率为零时恢复标准欧几里得

9结果，但在数据位于嵌入高维环境空间中的弯曲低维流形设置中有了显著改进。我们在负曲率空

9

2间展示了我们界限的紧密度，在那里指数体积增长导致证明更高的复杂性，并在正曲率空间中展

0示，其中曲率起到了正则化因子的作用。这个框架提供了一种关于内在几何如何影响学习能力的

.

7原则性理解，为结构化数据域上的深度学习提供了理论洞察和实际意义。

0

5

2

:1介绍

v

i

x深度神经网络在各个领域取得了显著的成功，但理解它们的泛化能力仍然具有挑战性，尤

r

a其是在数据位于非欧几里得空间（如黎曼流形）时。基于VC维[18]或Rademacher复杂度[2]

的经典泛化界限通常依赖于周围的欧几里得维度，因此当数据本质上是低维的但具有曲率时，

这些界限变得过于宽松。例如，许多现实世界的数据集，包括图像和语音，可以被视为从嵌入

高维空间中的低维流形[7,9]中抽取的样本。此外，最近的几何深度学习方法利用了像球面或

双曲流形[4,13]这样的弯曲潜在空间。

忽略流形几何——曲率、体积增长和注入半径——会导致空洞的界限，无法捕捉此类域

上神经网络的真实复杂性。这提出了一个根本问题：泛化保证能否明确地纳入内在几何以产

生更紧密、更有意义的界限？

在这项工作中，我们提出了一种将内在黎曼几何整合到经典复杂性度量中的新框架。使

用诸如Bishop-Gromov体积比较[3,10]和注入半径估计[6]等工具，我们推导出了数据流形

的曲率依赖覆盖数。这使得能够在流形上的Lipschitz神经网络中获得新的Rademacher复杂

性界，显著优于基于欧几里得的结果。

1

我们的贡献是：

•曲率惩罚覆盖数界限，用于捕捉截面曲率和内射半径如何影响流形的复杂性。

•反映内在维度和曲率的尖锐泛化误差界，将经典欧几里得结果作为特殊情况恢复。

•对于球体、双曲空间以及图像等流形建模数据提供更严格的保证的演示。

这项工作将流形学习与统计学习理论相结合，为非欧几里得设置中的学习提供了新的见

解，并应用于几何深度学习和生成建模[4,16]。

2相关工作

理解机器学习中的泛化问题具有悠久的历史，经典结果主要基于欧几里得设置。VC-维数

和Rademacher复杂度[2,18]提供了用于限制泛化误差的基本工具。然而，这些经典衡量标

准随输入空间的固有维度而变化，当数据位于低维流形上时，这可能会变得过大且往往具有

误导性[9]。这种差异促使研究反映数据域真实几何