- 1、本文档共6页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
拓扑感知激活函数在神经网络中的应用
11
PavelSnopovandOlegR.Musin
UniversityofTexasRioGrandeValley-SchoolofMathematicalandStatisticalSciences
Brownsville-USA
摘要.本研究探讨了新型激活函数,这些函数增强了神经网络在训练过程
中操纵数据拓扑结构的能力。基于传统激活函数如ReLU的局限性,我们提
出了SmoothSplit和ParametricSplit,它们引入了拓扑“切割”能力。这些
函数使网络能够有效地转换复杂的数据流形,在低维层场景中提升性能。通
过在合成数据集和真实世界数据集上的实验,我们证明了在低维度设置下,
本ParametricSplit的表现优于传统激活函数,并且在高维度情况下也保持了竞
译争力。我们的研究结果强调了拓扑感知激活函数在推进神经网络架构方面的
中潜力。代码可通过/Snopoff/Topology-Aware-Activations
获得。
1
v
41介绍和相关工作
7
8
2尽管取得了显著进展,神经网络学习的基本机制仍然只部分被理解。诸如[1]
1
.研究表明,一个训练良好的网络(即实现接近零泛化误差的网络)逐步将一
7
0个复杂的数据集M=Ma∪Mb转换为拓扑上更简单的数据集。这种转换主
5要归因于ReLU的非单射性质,它倾向于“粘合”点在一起,而像tanh这
2
:样的函数则保持输入的拓扑结构。
v
i额外的工作[2,3,4,5]表明,解开潜在流形对于提高分类性能至关重要,
x
r强调了拓扑变换在深度学习中的作用。此外,具有拓扑感知的激活函数已被
a
成功应用于图像分割[6]和图神经网络[7]等任务。
受这些见解的启发,我们提出了一种新颖的非同胚激活函数,该函数
«分割»数据流形—实际上是«切割»拓扑结构而不是简单地压缩它。这两个
函数,SmoothSplit和ParametricSplit,旨在增强网络以一种拓扑感知的方
式重构其内部表示的能力。通过在合成数据集和真实世界数据集上的实验,
我们证明了ParametricSplit在低维设置中显著提高了性能,同时在高维情
况下仍具有竞争力,突显了感知拓扑的激活函数对于推进神经网络架构的
潜力。
2非同胚激活函数
如引言中所述,ReLU(详见[1])的有效性主要归因于将其视为从到
的函数时所具有的拓扑性质。由于ReLU不是同胚,它通过压缩来改变拓
扑;具体而言,它«消除»了底层数据流形同调中的非平凡循环,从而简化
其结构。
拓扑简化也可以通过“切割”数据流形来实现。当适当应用(例如,沿
着非平凡循环)时,这个过程将流形分割成更简单的组件。能够进行这种切
割的函数也必须是非同胚的;与ReLU不同,后者是非单射的,它必须是非
满射的。例如,考虑被称作Split的函数:
Split
您可能关注的文档
- 从颈部到头部:用于头部姿态估计的生物阻抗传感-计算机科学-姿态估计-可穿戴系统.pdf
- 最佳实践和考虑因素:在教育、临床及司法场景中儿童语音语料库的收集与整理-计算机科学-机器学习-儿童语音-教育.pdf
- 信息论视角下的模拟命令中伦理属性的聚合-计算机科学-机器学习-信息论.pdf
- 译林版高中英语选择性必修第一册Unit 2 The universal language单元检测卷 (二)课件.ppt
- 统编版高中思想政治必修2经济与社会第一单元生产资料所有制与经济体制第二课我国的社会主义市场经济体制课时1充分发挥市场在资源配置中的决定性作用 课件.ppt
- 统编版高中思想政治必修1中国特色社会主义第四课只有坚持和发展中国特色社会主义才能实现中华民族伟大复兴课时1中国特色社会主义进入新时代.ppt
- 任务型阅读题型汇总真题演练 课件(共53张PPT).ppt
- 统编版高中思想政治必修2经济与社会第二单元经济发展与社会进步单元整合提升.ppt
- 统编版高中语文选择性必修上册第一单元伟大的复兴中国革命传统作品研习单元任务群(一)学习革命传统文学作品课件(共21张PPT).ppt
- 2025年内蒙古鄂尔多斯市康巴什区中考三模英语试题(含笔试答案,无听力音频及原文).docx
- 9.1《日益完善的法律体系》表格式教学设计.docx
- 【暑期衔接】专题04 补全对话与短文2025年 译林版(三起2024)新三年级小学英语专项自学(含答解析).docx
- 人教版高中英语必修第三册UNIT 5 THE VALUE OF MONEY Section Ⅳ Listening and Talking & Reading for Writing课件.ppt
- 统编版高中思想政治必修2经济与社会第一单元生产资料所有制与经济体制第二课我国的社会主义市场经济体制课时2更好发挥政府作用 课件.ppt
- 【弯道超车】2025年暑假衔接8升9英语精讲精练 第1讲八上U1-U2(学生版+教师版).docx
- 人教版高中英语必修第三册UNIT 2 MORALS AND VIRTUES Section Ⅳ Listening and Talking & Reading for Writing课件.ppt
- 统编版七年级道德与法治下册1.1青春的邀约课件(共23张PPT).ppt
- 【暑期衔接】专题20 书面表达 15篇 2025年新八年级(七升八)英语暑假专题提升(含答案解析)(全国通用).docx
- 统编版高中语文选择性必修上册第二单元百家争鸣中华传统文化经典研习第5课3人皆有不忍人之心课件(共51张PPT).ppt
- 【弯道超车】2025年暑假衔接8升9英语精讲精练 第11讲 Unit 1 How can we become good learners(学生版+教师版).docx
最近下载
- 水泥厂电气培训课件.pptx
- 体例格式9:工学一体化课程《windows服务器基础配置与局域网组建》任务1学习任务工作页.docx VIP
- 金税四期税务风险预警指标汇总.pdf
- 豆腐柴人工栽培技术.pdf VIP
- 天津市小升初小卷真题小外(天津市外国语大学附属外国语学校)(5套含答 .pdf VIP
- 控制计划(机加).docx VIP
- 土地资源管理学(第二版)张正峰,第一至第十二章知识点.docx VIP
- 专题三 透镜及其应用 2025年中考物理基础知识考点专题练习(含答案).docx VIP
- DL/T 502-2006 火力发电厂水汽分析方法(第1-32部分).pdf VIP
- 施工现场总平面布置培训.pptx VIP
文档评论(0)