优化Pytorch模型训练的小技巧

最新推荐文章于 2025-02-19 14:50:36 发布
最新推荐文章于 2025-02-19 14:50:36 发布
阅读量603 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Python 文章标签： pytorch 深度学习
原文链接：https://baijiahao.baidu.com/s?id=1695165163278178709&wfr=spider&for=pc
本文介绍了混合精度训练方法，即将32位训练转换为16位以提高效率，并展示了如何使用scaler进行操作。此外，还介绍了梯度积累技术，通过累加多个批次的梯度来减少内存消耗并保持较高的更新频率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://baijiahao.baidu.com/s?id=1695165163278178709&wfr=spider&for=pc

内容：

  1. 混合精度，将默认的32位训练转换为16位

scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()

2.进度条显示

pip install tqdm

3.梯度积累

梯度累加的工作原理是:以16个批的规模运行模型两次，将计算出的每个批的梯度累加起来，最后在这两次前向传播和梯度累加之后执行一个优化步骤。

Pytorch混合精度训练
whaosoft143ai的博客
09-24 4666
FP16(半精度浮点数)表示能够提升拥有TensorCore架构的GPU的计算速度(V100)。有很多相关介绍对其运作原理和使用方法进行了说明，本文就不再赘述。其优点可以概括为2点：1）FP16只占用通常使用的FP32一半的显存。2）NVIDIA V系列GPU在对FP16计算速度比FP32快上许多（实际加速比根据混合精度使用策略的不同存在差异）。
[PyTorch]：加速Pytorch 模型训练的几种方法（几行代码），最快提升八倍（附实验记录）
Bin_Dut的博客
07-02 1802
本篇博文概述了在不影响 PyTorch 模型准确性的情况下提高其训练性能的技术。为此，将 PyTorch 模型包装在 LightningModule 中，并使用 Trainer 类来实现各种训练优化。只需更改几行代码，就可以将单个 GPU 上的训练时间从 22.53 分钟缩短到 2.75 分钟，同时保持模型的预测准确性。 性能提升了 8 倍！
NativeScaler()与loss_scaler【本质上是 loss.backward(create_graph=create_graph) 和 optimizer.step()】
Drug discovery
10-04 2万+
源码： class NativeScaler: state_dict_key = "amp_scaler" def __init__(self): self._scaler = torch.cuda.amp.GradScaler() def __call__(self, loss, optimizer, clip_grad=None, clip_mode='norm', parameters=None, create_graph=False):
NVIDIA Tesla GPU系列P40参数性能——不支持半精度(FP16)模型训练
热门推荐
凝眸伏笔的博客
01-21 4万+
Tesla GPU系列P40不支持半精度(FP16)模型训练。因为它没有Tensor core。 训练bert非常慢，想要加速，了解到半精度混合训练，能提速一倍，研究了下混合精度，以及其对设备的要求。发现当前设备不能使用半精度混合训练。 NVIDIA Tesla系列GPU适用于高性能计算（HPC）、深度学习等超大规模数据计算，Tesla系列GPU能够处理解析PB级的数据，速度比使用传统CPU快几个数量级，NVIDIA Tesla GPU系列P4、T4、P40以及V100是Tesla GPU系列的明.
Autoformer代码阅读笔记——exp_main部分
mpu2050的博客
06-07 170
autoformer expmain
关于optimizer、loss、backward、scaler、scheduler
最新发布
ZHANG8023ZHEN的博客
02-19 226
parameter的grad如果在一次backward后不进行清除，那么会在第二次backward的时候进行累加，那么这个grad就是不正确的，所以在每次backward前需要进行optimizer.zero_grad()，这样就将所有的parameters进行grad清零。loss是一个tensor，将loss.backward()，可以对loss的grad_fn中的参数进行求导，这样就可以得到parameter的grad。一般对fp32没有什么影响。
Pytorch模型训练实用教程
10-03
《PyTorch模型训练实用教程》是一份详细指导如何在PyTorch框架下进行深度学习模型训练的资源。PyTorch是Facebook开源的一个强大的深度学习平台，以其灵活性和易用性受到广大研究者和开发者的青睐。本教程由Tingsong ...
PyTorch 深度学习小技巧 70个
01-04
模型的训练与评估是深度学习的循环过程，PyTorch通过设置模型训练模式model.train()和评估模式model.eval()来区分这两种状态。模型参数的更新是通过优化器完成的，常用的优化器有torch.optim.SGD等。 在模型评估...
Pytorch模型定义与训练技巧
liu___c的博客
12-01 852
ModuleDict和ModuleList一样，都只是存储了各个层，却没有定义层与层之间的先后顺序，因此它也要用forward定义一个向前传播方式,同上）#这里的unet1.outc能够从unet1模型中提取出outc层，=后面是对该层进行的修改，这里是将输出通道数进行了修改（其他层的通道数修改也类似这样）。#因为多卡模式下创立的模型是分布在多张卡上的，保存整个模型的话，很可能会导致换台机器模型运行不了的情况发生。#下采样连接：保留有效信息的同时减少特征图的尺寸，从而降低计算量，提高模型的运行效率。
Pytorch分布式训练
lishanlu136的博客
12-24 657
pytorch分布式并行训练
torch.cuda.amp的使用
weixin_41831274的博客
04-01 9584
今天看到师兄的代码里面用到了amp包，但是我在使用的时候遇到了apx无法使用的问题，后来知道pytorch已经集成了amp，因此学习了一下pytorch中amp的使用。 官网https://pytorch.org/docs/stable/amp.html?highlight=amp torch.cuda.amp 作用： torch.cuda.amp提供了可以使用混合精度的方便方法，以加速训练。在网络中，有一些操作，例如linear layer和convolution，在float16时会更加快速，而
机器学习笔记
qq_33790600的博客
10-26 1191
1 机器学习基础 1.1 特征工程 问题：为什么要对特征做归一化？
混合精度与单精度对比
流光的博客
12-11 1142
使用混合精度代码更改很少 scaler = GradScaler() with autocast(): out = model(data) loss = loss_func(out, target) scaler.scale(loss).backward() scaler.step(opt) scaler.update() 只有PASCAL架构显卡 最大批次 TITAN X PASCAL 12G 单精度batch=3100 混合精度batch=5000 批次大小提升61%..
PyTorch深度学习模型训练加速指南2021
AI公园
01-16 1180
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：LORENZ KUHN编译：ronghuaiyang导读简要介绍在PyTorch中加速深度学习模型训练的一些最小改动、影响...
pytorch【GradScaler】优化速度
重剑无锋博客
11-15 948
pytorch【GradScaler】优化速度
python学习记录七——scale和scrollbar用法
吃不胖的粥
03-10 1147
红色笔画的地方就是scale组件，蓝色笔画的地方就是scrollbar组件 #coding:utf-8 import tkinter #引入界面设计库 import sys #引入系统交互操作 import os #方便路径访问 import re #引入正则化 class MainForm: def __init__(self): self. root =...
自动混合精度的疑难杂症
qq_44698655的博客
11-06 767
网上大多数使用amp损失为nan一般是训练一段时间后突然出现nan，这是由于局部异常值导致，利用梯度裁剪和异常数据处理可以解决。我这里出现的nan不太一样，因为从训练开始就是损失值就为nan。但是建议不要这样做，这样虽然能有助于确保梯度更新不受少量异常值干扰从而使训练正常进行，但是这个处理方法可能掩盖一些问题。在我的设备下，使用fp32通常需要十万次以上迭代训练才能获得相对好的结果。这是一个尝试在一个类StyleGAN2模型上使用pytorch自带的混合精度失败案例，花了一整天时间，但目前依旧还没有解决。
PyTorch训练加速技巧
qq_31768873的博客
03-29 1954
PyTorch训练加速技巧     由于最近的程序对速度要求比较高，想要快速出结果，因此特地学习了一下混合精度运算和并行化操作，由于已经有很多的文章介绍相关的原理，因此本篇只讲述如何应用torch实现混合精度运算、数据并行和分布式运算，不具体介绍原理。 混合精度     自动混合精度训练（auto Mixed Precision，AMP）可以大幅度降低训练的成本并提高训练的速度。在此之前，自动混合精度运算是使用NVIDIA开发的
SegFormer学习笔记（2）train
高恩阳的博客
01-15 391
这样一句话，意味着什么？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值