DNN 的随机权重及固定点的出现-计算机科学-深度神经网络-算法.pdfVIP

DNN的随机权重及固定点的出现

L.Berlyand

DepartmentofMathematics,PennsylvaniaStateUniversity,

UniversityPark,Pennsylvania,16802,USA

O.Krupchytskyi

DepartmentofMathematics,

PennsylvaniaStateUniversity,

UniversityPark,Pennsylvania,16802,USA

V.Slavin

本B.VerkinInstituteforLowTemperaturePhysicsand

译EngineeringoftheNationalAcademyofSciencesofUkraine,

中NaukyAve.,47,Kharkiv,61103,Ukraine

email:slavin@ilt.kharkov.ua

2

v摘要

2

8这封信关注一类特殊的深度神经网络（DNN），其中输入和输出向量具有相同的维度。这类DNN广泛应用于各种应

1用中，例如自动编码器。此类网络的训练可以通过它们的不动点（FP）来表征。我们关心的是这些不动点数量及其稳定

4

0性与随机初始化的DNN权重矩阵分布的关系。具体来说，我们考虑独立同分布（i.i.d.）具有重尾和轻尾分布的随机权

1.重。我们的目标有两个方面。首先，不动点的数量和稳定性的分布尾类型之间的依赖关系。其次，不动点数量与DNN

0架构之间的依赖关系。我们进行了广泛的模拟，并展示了对于轻尾分布（例如高斯），通常用于初始化时，对广泛类型

5的架构而言存在一个稳定的FP。相比之下，对于重尾分布（例如柯西分布），这类分布在训练后的DNN中常见，会出

2

:现多个FP。我们进一步观察到这些FP是稳定吸引子，它们的吸引域将输入向量的定义域划分开来。最后，我们观察

v

i到了不动点数量与DNN深度之间一个有趣的非单调依赖关系。上述结果首先是在两种不同分布进行初始化

x

r的未训练DNN中获得的，并通过考虑在训练过程中出现重尾分布的DNN来进一步验证。

a

1

近年来，基于深度神经网络（DNN）的各种新技术，也称为人工神经网络（ANN），已经得到发展。

1

基于AI的技术已在物理、医学、商业和日常生活中成功应用（见例如）。DNN理论中的两个关键理论

2,3

方向是开发新型的(i)DNN类型和(ii)训练算法。DNN最重要的应用之一是处理视觉信息。图像变

换（也称为图像到图像转换）意味着根据目标将原始图像转换为另一幅图像，例如，放大图片而不损失

质量。另一个重要示例是自映射变换或自动编码器DNN。这种DNN用于例如图像恢复，其中恢复的

4

图像是该DNN的一个固定点（FP）。此外，DNN输出向量与FP的距离可以作为