深度学习数学基础之激活函数与导数

​
​

活动地址：CSDN21天学习挑战赛

函数与导数

函数

神经网路最常听到的一个名词就是激活函数，那激活函数是什么呢？

百度百科是这样说的，函数，最早由中国清朝数学家李善兰翻译，出于其著作《代数学》。之所以这么翻译，他给出的原因是“凡此变数中函彼变数者，则此为彼之函数”，也即函数指一个量随着另一个量的变化而变化，或者说一个量中包含另一个量。

其实，函数是一种映射关系，通过函数，可以将一个变量转化成另一个变量，而在神经网路中，这个变量是矩阵，是张量。

激活函数

常见的激活函数有：

• sigmoid函数：
  $$f(x)=\frac{1}{1+e^{-x}}$$
• 双曲正切函数：
  $$f(x)=tanh(x)=\frac{2}{1+e^{-2x}}-1$$
• ReLU函数：
  $$f(x)=\{\begin{array}{l}ma\end{array}$$