通过 CDF 归一化到分位数来改进 KAN-计算机科学-机器学习-神经网络-概率分布.pdf

1

通过CDF归一化到分位数来改进KAN

JakubStrawa

StrawAI,Krakow,Poland,jakubstrawaai@

JarekDuda

FacultyofMathematicsandComputerScience,JagiellonianUniversity,Krakow,Poland,dudajar@

Abstract—数据归一化在机器学习中至关重要，通常通过减

去均值并除以标准差，或重新缩放到固定范围来实现。在金融领域

流行的耦合理论[1]中，使用归一化近似分位数，通过对估计的累

积/经验分布函数(CDF/EDF)进行转换将CDF变换为

在上接近均匀分布的形式，从而允许更简单的表示形式，并且

不太可能过拟合。这一方法似乎在机器学习中鲜为人知。因此，正

如在[2]中所提议的那样，我们希望通过最近流行的Kolmogorov

本–Arnold网络(KANs)的例子来展示其一些优势，通过将重新

译缩放改为CDF归一化来改进Legendre-KAN[3]的预测。此外，

在HCR解释中，这些神经元的权重是混合矩，提供局部联合分布

Figure1.示例中的累积分布函数归一化样本来自高斯分布，包含

中模型，允许传播概率分布，并改变传播方向。CDF。这导致在上接近均匀分布，值被转换为它们的近似分位数，

1例如：中位数变为。实际上，这是通过估计参数的累积分布函数进行

v的，例如：对于高斯分布常用且完美的方法是减去均值，除以标准差，但随

3I.介绍后还要通过CDFerf对标准化后的高斯进行额

9

外变换。或者，我们可以使用EDF：对值进行排序，并将第个按顺序转

3数据规范化对于各种类型的分析都非常有用，例如，通

3换为大小为的批次/样本中的。

1过神经网络中的批标准化[4]。机器学习主要使用标准的高

.

7斯分布：减去均值并除以标准差。或者，例如与勒让德多项II.CDF/EDF归一化到分位数

0式的组合，这些多项式在固定范围内具有均匀权重且正交规

5

2范化，则采用重新缩放进行规范化[3]。为了使变量在中正规化为接近均匀分布，我们可

:然而，特别是在金融中流行的copula理论[1]中，通以通过类似于图1中的累积分布函数（CDF）来转换

v

i过类似于图1所示的CDF/EDF转换来使用标准化使其接CDF。为了找到这个CDF，我们可以假设像高斯这样的

x

r近均匀分布于，最初是为了使用各种主要参数为1的某些参数族，并从数据样本、批次中估计其参数。在实践中，

a

copula家族。我们可以通过从样本中减去均值，然后除以其标准差来执行

将密度建模为线性组合，例如在Legendre多项式的正这种归一化，类似于批归一化[4]，但随后通过正态高斯CDF

交基中方便地进行操作，提供了实用的高参数描述如HCR进行额外转换：

（分层相关重构[5],[2]）-图2展示了这种4阶多项式作为

中样本密度的例子，这些多项式通过重新缩放标准化