1.神经网络激活函数的作用是什么？

激活函数在神经网络中的作用是对神经元的输出进行非线性变换，引入非线性因素，从而增强神经网络的表达能力。激活函数将神经元的输入信号经过变换后输出给下一层神经元，每个神经元都有一个独立的激活函数。 常见的激活函数包括 Sigmoid 函数、ReLU 函数、Leaky ReLU 函数、ELU 函数等。其中，Sigmoid 函数将输入的值映射到 (0,1) 之间，可以用于处理概率相关的问题；ReLU 函数的输出为输入和 0 中的较大值，可以解决梯度消失的问题，但容易出现神经元死亡现象；Leaky ReLU 函数在 ReLU 函数的基础上添加了一个小斜率的负半区，避免了神经元死亡的问题；ELU 函数在负数区域有一个小斜率，可以避免 ReLU 函数的死亡问题，同时还可以使得神经网络的训练速度更快。 不同的激活函数适用于不同的神经网络结构和任务，选择合适的激活函数可以提高神经网络的性能和鲁棒性。