深度学习之激活函数——Leaky ReLU

fxmax⁡αxxfxmaxαxx其中，α\alphaα是一个小于1的常数，称为leakage coefficient（泄漏系数）或negative slope（负斜率）。一般情况下，α\alphaα取一个较小的值，如0.01。这意味着当输入xxx小于0时，Leaky ReLU不再像ReLU那样直接将输出设为0，而是输出一个小的正值，即αx\alpha xαx。

是PyTorch中的Leaky Rectified Linear Unit（ReLU）激活函数的实现。Leaky ReLU是一种修正线性单元，它在非负数部分保持线性，而在负数部分引入一个小的斜率（通常是一个小的正数），以防止梯度消失问题。：x为负数时的需要的一个系数，控制负斜率的角度。默认值：1e-2(0.01)

LeakyReLU是一种用于深度学习的激活函数，它解决了传统ReLU（修正线性单元）在输入小于0时输出为0的问题。ReLU函数，在x < 0 的范围内梯度恒为0，无法更新参数，这导致神经元“死亡”，不再对任何输入产生响应。LeakyReLU通过在输入小于0时引入一个小的来解决这个问题，从而允许一些负的梯度流过神经元，有助于缓解梯度消失问题。

ReLU全称是Rectified Linear Unit，也就是修正线性单元，它的公式是f(x) = max(0, x)，即在输入x大于0时输出x，否则输出0。ReLU的优点是计算简单，能缓解梯度消失问题，但缺点是在负数区域梯度为0，可能导致神经元“死亡”，也就是永远无法被激活的情况。根据之前的了解，Leaky ReLU在输入为负数时，不是完全输出0，而是乘以一个小的斜率，通常是0.01。优点方面，除了避免神经元死亡，Leaky ReLU应该保留了ReLU的大部分优点，比如计算简单，适合深层网络。

它是一种专门设计用于解决Dead ReLU问题的激活函数： f(x)={xifx>0αxifx≤0 f(x)=\left\{ \begin{aligned} x & \quad if &x > 0 \\ \alpha x & \quad if & x\leq 0\\ \end{aligned} \right. f(x)={xαx​ifif​x>0x≤0​ Leaky ReLU函数的特点： Leaky ReLU函数通过把xxx的非常小的线性分量给予负输入0.

在深度学习革命前夜，神经网络长期被困在梯度消失的泥潭中。sigmoid函数像一道温柔的门槛，将输入压缩到0-1之间，却在深层网络中形成致命的梯度衰减。当反向传播的误差信号经过十层网络后，数值衰减幅度可达10^18倍——这相当于把长江源头的水滴传到入海口时已蒸发殆尽。2011年ImageNet竞赛中，传统卷积神经网络在100层以上的深度架构中集体失速。研究者发现，使用tanh激活的深层网络训练三周后，模型准确率仍停留在58%的瓶颈期。这时，一个看似简单的函数正在改写历史。

随着自动驾驶技术的飞速发展，深度学习在其中扮演着至关重要的角色。而激活函数作为神经网络中的关键组件，直接影响着模型的性能和效果。前面几篇博客中， 非线性激活函数举例只讲到了ReLU 函数。本文将深入探讨自动驾驶中常见的激活函数，包括 ReLU、Sigmoid、Leaky ReLU、PReLU 和 Swish，解析它们的数学原理、应用场景及 PyTorch 实现代码。

Relu 及 leakyRelu是深度学习中常用的激活函数，看了几篇博客后，做一个小的总结。     1. Relu：            数学表达式：a = max(0, z)            函数图像为：                             优点：由上图可以看出，Relu得到的SGD的收敛速度较快           缺点：训练的时候很容易‘die'了，对于小于0的...

然而，当使用ReLU激活函数时，可能会遇到训练缓慢的问题，尤其是在网络的早期层，因为梯度可能会在网络的反向传播过程中消失（即，梯度变为非常小的值，接近零）。Leaky ReLU是一种修正线性单元（Rectified Linear Unit， ReLU）函数，也是深度学习中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。总的来说，Leaky ReLU函数通过在负输入区域引入一个小的梯度，解决了标准ReLU函数在负输入时梯度为零的问题，从而提高了神经网络的学习能力和稳定性。

Leaky ReLU（带泄露线性整流函数）是一种改进的 ReLU（Rectified Linear Unit，线性整流单元）激活函数。与标准 ReLU 不同，Leaky ReLU 在输入值小于 0 时，不会直接将输出置为 0，而是给予一个小的非零梯度（通常是 0.01 倍的输入值）。这种特性使得 Leaky ReLU 在面对负输入时不会完全消失，从而减轻了“神经元死亡”（Dead Neurons）问题。

PyTorch学习笔记：nn.LeakyReLU——LeakyReLU激活函数

与传统的relu函数不同，leaky_relu允许负数输入有一个小的斜率，而不是完全截断为0。在PyTorch中，可以使用torch.nn.functional.leaky_relu函数来应用leaky_relu激活函数。这里，输入张量input包含了负数、零和正数。通过应用leaky_relu函数，负数部分被乘以斜率0.2，而正数和零保持不变。- inplace是一个布尔值，表示是否原地操作（即是否覆盖输入张量），默认为False。- negative_slope是负数输入的斜率，默认为0.01。

它和 ReLU 函数的不同之处在于，当 x 小于零时，LeakyReLU 函数的导数值并不为 0，而 是常数𝑝，p 一般设置为某较小的数值，如 0.01 或 0.02。,我们可以看到输出，当x小于0 的时候，leakyRelu_x的结果被乘以0.1。,我们可以看到输出，当x小于0 的时候，leakyRelu_x的结果被乘以0.1。LeakyReLU 函数有效的克服了 ReLU 函数的缺陷，使用也比较广泛。Leaky Relu 的优点(相对 ReLU的改进)时候的情况，请注意，p 一般设置为较小值。

激活函数简介 在深度学习中，输入值和矩阵的运算是线性的，而多个线性函数的组合仍然是线性函数，对于多个隐藏层的神经网络，如果每一层都是线性函数，那么这些层在做的就只是进行线性计算，最终效果和一个隐藏层相当！那这样的模型的表达能力就非常有限 。 实际上大多数情况下输入数据和输出数据的关系都是非线性的。所以我们通常会用非线性函数对每一层进行激活，大大增加模型可以表达的内容（模型的表达效率和层数有关）。 这时就需要在每一层的后面加上激活函数，为模型提供非线性，使得模型可以表达的形式更多，同时也可以更改模型的输出值，

牛客题库题解牛客题库题解