ReCA: 一种参数化 ReLU 复合激活函数-计算机科学-深度神经网络-深度学习.pdfVIP

ReCA,aparametricReLUcompositeactivationfunction

ReCA:一种参数化ReLU复合激活函数

JohnChidiacjohn.chidiac@

DepartmentofComputerScienceandMathematics

LebaneseAmericanUniversity,Jbeil,Lebanon

DanielleAzardanielle.azar@.lb

DepartmentofComputerScienceandMathematics

LebaneseAmericanUniversity,Jbeil,Lebanon

Abstract

本激活函数已被证明对深度神经网络的性能有显著影响。虽然修正线性单元（ReLU）仍然是实践中主

导的选择，但对于深度神经网络的最佳激活函数仍是一个开放的研究问题。在本文中，我们提出了一

译种基于ReLU的新颖参数化激活函数ReCA，在使用不同复杂神经网络架构的状态数据集上表现出

中优于所有基线的结果。

2

v

41介绍

9

9激活函数是应用于神经网络中神经元输入信号的数学变换。它们对于引入非线性和允许模

8

0型学习数据(Goodfellowetal.,2016)中的复杂非线性关系至关重要。没有这些函数，神经网络

.

4将局限于线性变换，限制其仅能建模简单的关系。

0

5传统的激活函数具有固定的形式，涉及输入变量（例如，），在整个网络中

2

:保持相同的行为。参数化激活函数通过引入可以通过反向传播学习的参数来构建它们。这些参

v1

i数应用于每个神经元，通常以时间成本为代价提高性能；或者应用到每个通道，这在计算上显

x

r著更便宜，同时保持良好的性能。此外，参数化函数提供了额外的网络灵活性，并使专门的任

a

务学习成为可能；然而，这些参数可能导致与简单传统函数相比更高的计算成本。

我们提出了一种新颖的参数激活函数ReCA，它在最先进的基准测试中始终表现出显著的

性能提升，但代价是增加了训练时间。我们定义ReCA如下：

ReLUtanh(1)

其中，，。该函数的出现是为了结合Sigmoid、tanh和ReLU的

最佳特性。tanh和项提供了对曲线平滑度的微调，而其参数值的增加则更加强调了这种平滑

性。最初，我们设置和使得函数恰好是ReLU，并允许通过反向传播来改变

这些参数。ReCA的导数是

1.一个通道指的是单个特征图或数据层，例如图像中的颜色分量（如RGB），在卷积操作中独立处理。

1

ChidiacandAzar

sechtanh