卷积神经网络是一种分层的数据表示模型,通常由数据输入层、卷积层、池化层、 非线性激活函数、全连接层以及输出结果预测层等组成,其中卷积层、池化层和非线 性激活函数是卷积神经网络中的重要组成部分。此外,有些模型会增加其他的层(归一 化层等)以满足系统特定功能需求。卷积网络以各个单层为基础,按照一定的规律,一 层一层堆叠,卷积神经网络就可以逼近各种复杂函数的空间分布。
- 卷积层
滤波器(也称为卷 积核),滤波器的数量越多,卷积神经网络的深度越深。卷积 层的设计和参数设置,对于卷积神经网络的性能具有重大影响。
卷积核多大,输出就多大。
2.非线性激活函数
设计卷积神经网络时,以激活函数作为卷积层下一步的运算,可以兼顾计算的 简单性和网络的灵活性。卷积层计算是所有前一层输入的线性组合,这里的激活函数 则是计算所有输入值与非线性激活函数的乘积,这样的安排能够降低网络的运算复杂 度,兼容非线性组合运算。
要激活函数中包含充分的梯度信息,以便于能从输入的数据中 捕获更多的信息。
常用的激活函数是 Sigmoid 函 数、ReLU(Rectified Linear Unit,ReLU)函数以SiLU(Sigmoid Linear Unit, SiLU) 函数等,这些函数有更好的光滑性,被广泛应用于卷积神经网络。