三、深度学习基础2（前、反向传播；超参数）

前向传播与反向传播

神经网络的输出 、卷积神经网络输出值以及Pooling  层输出值（主要作用是下采样）过程皆为比较简单的基础知识，在此不作详细赘述。

 超参数

超参数:比如算法中的 learning rate （学习率）、iterations(梯度下降法循环的数量)、（隐藏层数目）、（隐藏层单元数目）、choice of activation function（激活函数的选择）都需要根据实际情况来设置，这些数字实际上控制了最后的参数和的值，所以它们被称作超参数。

如何寻找超参数的最优值

1、猜测和检查：根据经验或直觉，选择参数，一直迭代。
2、网格搜索：让计算机尝试在一定范围内均匀分布的一组值。
3、随机搜索：让计算机随机挑选一组值。
4、贝叶斯优化：使用贝叶斯优化超参数，会遇到贝叶斯优化算法本身就需要很多的参数的困难。
5、在良好初始猜测的前提下