Pytorch 深度学习框架快速学习(1)---- 神经网络惯性因子 Neural Network Momentum
神经网络是当前机器学习中炙手可热的一个模型门类,其中的调参技巧也是层出不穷,从刚开始的BP,到SGD等。在使用 Pytorch 的过程中,我们会发现在配置 SGD optimizer的时候需要配置一个参数 momentum,那么这个参数是做什么的呢?optimizer = optim.SGD(model.fc.parameters(), lr=1e-2, momentum=0.9)这个必须要从SGD 的原理开始说起:图的最上方为每个iteration(每个batch为一个iterat.
原创
2021-03-12 13:30:37 ·
890 阅读 ·
0 评论