pytorch损失值nan或者model输出nan或者inf的相关问题

最新推荐文章于 2025-05-12 08:15:12 发布

原创最新推荐文章于 2025-05-12 08:15:12 发布 · 3k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #机器学习

Pytorch炼丹小知识点专栏收录该内容

8 篇文章

订阅专栏

本文探讨了在模型训练过程中可能遇到的问题及解决办法，包括优化器设置、学习率调整、梯度爆炸预防等，并提供了具体的代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现象和原因分析

在能确定模型正常的情况下，可能是优化器没有设置正确，一定要加上weight decay的正则化项，和时间衰减的学习率；
也有可能是学习率太大，梯度爆炸

也可以添加权重初始化项。

optimizer = torch.optim.SGD(model.parameters(), lr=params.LR, weight_decay=0.00001)
lr_scheduler = torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones=params.LR_steps, gamma=params.Lr_mul)
# gamma是每次的乘以学习率的系数


for epoch in range(epochs):
	lr_scheduler.step() # 更新学习率
	for images,targets in train_loader:
	
		# 计算loss
		loss = clf_loss + distil_loss
	    optimizer.zero_grad()
	    loss.backward()
	    optimizer.step()