2403_88150975的博客

项目推荐做法分类任务同时记录 train/val loss 与 acc 曲线回归任务使用 MSE / MAE 曲线代替 acc使用多个优化实验用 TensorBoard 对比不同模型表现想快速定位问题绘出训练集 vs 验证集的 loss 曲线，看是否发散# 打印模型摘要，查看各层输出这将给出每一层的输出维度、参数数量、是否需要训练的参数等。对于模型架构的调试非常有用。训练曲线监控：通过或wandb实时监控损失和准确率曲线，及时发现模型是否出现过拟合或欠拟合。权重与梯度的可视化：通过或。

return x。

)也可以统一使用较小学习率，比如1e-4。这时候，只有最后一层（fc）是可训练的。阶段冻结情况优化哪些层学习率阶段1冻结全部层，fc 除外只训练fc1e-3阶段2解冻layer4训练1e-4阶段3解冻layer3训练1e-5。

功能API标量值（loss）图像多图像模型结构参数直方图超参对比Embedding。

计算简单函数的梯度（如y = x**2 + 3*x）

场景是否推荐用 Adam说明小模型训练（如 MLP、CNN）✅✅✅稳定、无需复杂调参，适合快速实验初学者使用或结构新颖✅✅容错率高，容易收敛医学图像初步建模✅✅常用于 baseline 训练复杂大模型（如 Transformer）❌ 不推荐替代方案为 AdamW，更稳定场景是否推荐用 AdamW说明Transformer 模型训练（如 BERT、Swin Transformer）✅✅✅论文标准优化器，收敛稳定微调预训练模型（如 BERT fine-tune）✅✅✅。

)

在 PyTorch 中，Hook 是一种机制，允许我们在模型的前向传播或反向传播过程中，插入自定义的函数，用来观察或修改中间数据。最常用的 hook 是forward hook（前向钩子），它可以用来获取某一层的输出，也就是我们通常说的中间特征图观察现象可能原因调整方向特征图全 0ReLU 死区、参数异常更换激活函数、重新初始化特征图太早过小Pooling、stride 设太大减小 stride、减少池化层间特征图变化微小梯度小、训练不足增大学习率、加 BN中间层关注区域不合理。