一、sigmoid函数的概念
sigmoid函数,也就是s型曲线函数,经常被用作神经网络中输出层的激活函数,它和它的导数的数学表达式如下:
函数:
导数:
求导过程如下所示:
二、sigmoid函数的优点
sigmoid的优点在于输出范围有限,所以数据在传递的过程中不容易发散。当然也有相应的缺点,就是饱和的时候梯度太小。
第二个有点就是导数比较容易计算,这样求梯度的时候就非常方便,导数求导过程如第一节所示。
sigmoid还有一个优点是输出范围为(0, 1),所以可以用作输出层,输出表示概率。
三、sigmoid函数的python实现代码
import numpy as np
from matplotlib import pyplot as plt
def sigmoid(x