APTx 神经元：一种整合激活和计算的统一可训练神经元架构-计算机科学-深度学习-激活函数.pdf

APTx神经元：一种整合激活和计算的统一可训练

神经元架构

RavinKumar

DepartmentofComputerScience,MeerutInstituteofEngineeringandTechnology,

Meerut-250005,UttarPradesh,India

ravin.kumar.cs.2013@miet.ac.in

本摘要我们提出了APTx神经元，这是一种将非线性激活和线性变换集成

到单一可训练表达中的新型统一神经计算单元。APTx神经元源自APTx

译激活函数，从而消除了对单独激活层的需求，使架构在计算上既高效又优

雅。所提出的神经元遵循功能形式tanh，

中

其中所有参数、、和都是可训练的。我们在MNIST数据集上验

1

v证了基于APTx神经元的架构，在仅使用约33.2万个可训练参数的情况

0下，仅在20个周期内就达到了高达96.69%的测试准确率。结果突出了与

7

2传统神经元相比，APTx神经元在表达能力和计算效率方面的优越性，指

4出了统一神经元设计及其构建架构的新范式。

1

.

7

0Keywords:APTx神经元·APTx激活函数·激活函数·统一神经

5元·深度学习·MNIST

2

:

v

i1介绍

x

r

a

自定义激活函数如Swish[13],Mish[9]和ELU[2]在各种深度学习应用

中表现出优于传统ReLU[10]的性能。这些进展反映了一个更广泛的趋势，

即向更具适应性和表现力的非线性发展。

在最近的创新中，APTx激活函数[5,6]因其参数化可训练的形式而引

人注目，可以近似多种激活行为，包括Swish和Mish，并且在某些参数设

置下还可以类似Tanh曲线。正如近期关于可训练激活函数的综述[1]中所

指出的，这种灵活性使神经网络能够在训练过程中更好地适应特定任务的需

求。APTx激活函数的数学公式见式子1。

tanh(1)

2RavinKumar

这里，、和是可学习的参数。这种表述使得在训练过程中能够调整

APTx激活函数的动态形状。

此外，APTx激活函数可以在参数and下生

成SWISH()激活函数。同样地，如果我们希望近似逼近MISH激活函

数，我们可以使用值and作为负部分，

and作为正部分。

在这