神经网络相关激活函数

最新推荐文章于 2025-08-23 11:23:17 发布

转载最新推荐文章于 2025-08-23 11:23:17 发布 · 333 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/LOSKI/p/10741649.html

文章标签：

#人工智能

本文探讨了激活函数在神经网络中的重要性，解释了为何必须使用非线性激活函数，以及线性函数为何不适用于多层神经网络。文中详细介绍了两种常见的激活函数：sigmoid函数和ReLU函数，分析了它们的特点及应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

激活函数
神经网络的每个神经元输出都要经过激活函数的处理，并且激活函数都要选择非线性的函数(不是一条直线)
原因也比较简单
如果用线性函数来处理的话(类似f(x)=ax+b),经过多个神经元后，这些处理可以统一合为一个线性处理，也就失去了神经网络的多层的意义了。
都要用激活函数的原因也类似，毕竟神经元内部大多也都是线性处理
这里列举两个非常常用的激活函数

1.sigmoid函数

sigmoid函数比较平滑，而且有一点是它没有任何一点的导数真正的等于0，因此不会太担心多次学习它不会带来任何变化，并且它的导数也十分简单，用起来十分称手。
2.ReLU函数

ReLU函数是突变的类型，虽然导数同样简单，但是它在x<0时导数为0，可以说阻断了反馈(?)