拓扑感知激活函数在神经网络中的应用-计算机科学-深度学习-神经网络训练-新型激活函数.pdfVIP

拓扑感知激活函数在神经网络中的应用-计算机科学-深度学习-神经网络训练-新型激活函数.pdf

  1. 1、本文档共6页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

拓扑感知激活函数在神经网络中的应用

11

PavelSnopovandOlegR.Musin

UniversityofTexasRioGrandeValley-SchoolofMathematicalandStatisticalSciences

Brownsville-USA

摘要.本研究探讨了新型激活函数,这些函数增强了神经网络在训练过程

中操纵数据拓扑结构的能力。基于传统激活函数如ReLU的局限性,我们提

出了SmoothSplit和ParametricSplit,它们引入了拓扑“切割”能力。这些

函数使网络能够有效地转换复杂的数据流形,在低维层场景中提升性能。通

过在合成数据集和真实世界数据集上的实验,我们证明了在低维度设置下,

本ParametricSplit的表现优于传统激活函数,并且在高维度情况下也保持了竞

译争力。我们的研究结果强调了拓扑感知激活函数在推进神经网络架构方面的

中潜力。代码可通过/Snopoff/Topology-Aware-Activations

获得。

1

v

41介绍和相关工作

7

8

2尽管取得了显著进展,神经网络学习的基本机制仍然只部分被理解。诸如[1]

1

.研究表明,一个训练良好的网络(即实现接近零泛化误差的网络)逐步将一

7

0个复杂的数据集M=Ma∪Mb转换为拓扑上更简单的数据集。这种转换主

5要归因于ReLU的非单射性质,它倾向于“粘合”点在一起,而像tanh这

2

:样的函数则保持输入的拓扑结构。

v

i额外的工作[2,3,4,5]表明,解开潜在流形对于提高分类性能至关重要,

x

r强调了拓扑变换在深度学习中的作用。此外,具有拓扑感知的激活函数已被

a

成功应用于图像分割[6]和图神经网络[7]等任务。

受这些见解的启发,我们提出了一种新颖的非同胚激活函数,该函数

«分割»数据流形—实际上是«切割»拓扑结构而不是简单地压缩它。这两个

函数,SmoothSplit和ParametricSplit,旨在增强网络以一种拓扑感知的方

式重构其内部表示的能力。通过在合成数据集和真实世界数据集上的实验,

我们证明了ParametricSplit在低维设置中显著提高了性能,同时在高维情

况下仍具有竞争力,突显了感知拓扑的激活函数对于推进神经网络架构的

潜力。

2非同胚激活函数

如引言中所述,ReLU(详见[1])的有效性主要归因于将其视为从到

的函数时所具有的拓扑性质。由于ReLU不是同胚,它通过压缩来改变拓

扑;具体而言,它«消除»了底层数据流形同调中的非平凡循环,从而简化

其结构。

拓扑简化也可以通过“切割”数据流形来实现。当适当应用(例如,沿

着非平凡循环)时,这个过程将流形分割成更简单的组件。能够进行这种切

割的函数也必须是非同胚的;与ReLU不同,后者是非单射的,它必须是非

满射的。例如,考虑被称作Split的函数:

Split

您可能关注的文档

文档评论(0)

zikele + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档