神经网络：激活函数选择

        结论直接看——激活函数的选择方式

        神经网络主体分为输入层、隐藏层和输出层三个模块。一般情况下，输入层只负责对数据的输入，并不做任何的变换。故而，激活函数的选择只涉及隐藏层和输出层两个模块。

激活函数的选择方式

        理论情况下，激活函数是可以根据需求，随意选择与组合的。但是经过前辈们的实验经验，下面的流程往往是效率最高的。（非绝对正确，仅作参考。若有更好的选择，欢迎分享。）

隐藏层

1. 优先选择ReLU激活函数；
2. 如果ReLU效果不好，那么尝试其他的激活函数（优先选择ReLU系列）；
3. 如果使用了ReLU，需要注意一下Dead ReLU问题；
4. 少使用Sigmoid激活函数，可以尝试使用TanH激活函数（TanH多用于循环神经网络）。

注意：ReLU系列指的是以ReLU激活函数为基础，进行改变的一系列激活函数。

输出层