SERLU激活函数

SERLU激活函数

文章链接：Effectiveness of Scaled Exponentially Regularized Linear Units(SERLUs)

年份：2018

1.介绍

SELU是适当缩放指数线性单元，结合中心极限理论进行归一化。SELU是一个单调递增函数，对于较大的负输入，它有一个恒定的负输出。根据SELU提出SERLU，该函数是非单调函数，同时仍然保持自归一化的性质。而且该函数通过将一个线性函数正则化为一个缩放的指数函数，在负区域引入一个凸函数，称为缩放的指数正则化线性单元。凸函数对较大的负输入具有近似为零的相应，同时通过适当的缩放负区域的凸函数，能够将SERLU的输出在统计上推向0均值。

SERLU的具体函数公式为：
$$f(x)=\lambda \{\begin{array}{ll}x,& x\ge 0\\ \alpha x{e}^x,& x<0\end{array},\lambda >0,\alpha >0$$
SERLU的导数为：
f ( x ) = λ { 1 , x ≥ 0 α e x ⋅ ( x + 1 ) , x < 0 f(x) = \