本文介绍了如何有效地找到合适的初始学习率，避免耗时的试错过程。一种方法是通过试探不同量级的学习率，如0.0001和0.001，观察loss变化来选择。这种方法虽然直观，但效率较低。文章探讨了更高效的学习率确定策略。
在这篇文章中，我会讲一种非常简单却有效的方法来确定合理的初始学习率
1、这里我们关心的一个问题是初始学习率如何确定，当然有很多办法，一个比较笨的方法就是从0.0001开始尝试，然后用0.001，每个量级的学习率都去跑一下网络，然后观察一下loss的情况，选择一个相对合理的学习率，但是这种方法太耗时间了
2、
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
