解决了PyTorch 使用torch.nn.DataParallel 进行多GPU训练的一个BUG:模型(参数)和数据不在相同设备上

最新推荐文章于 2025-06-05 09:01:41 发布
转载 最新推荐文章于 2025-06-05 09:01:41 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.csdn.net/senius/article/details/96599955

本文详细解析了如何在CSDN上发布一篇高质量的技术博客，包括标题、标签和内容的优化策略，旨在帮助作者提高博客的可见性和吸引力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

报错torch.OutOfMemoryError: CUDA out of memory...CUDA 内存溢出如何解决？
**My Coding Family**
05-24 839
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
pytorch使用记录（三） 多GPU训练
热门推荐
daydayjump的博客
07-22 5万+
  在具体使用pytorch框架进行训练的时候，发现实验室的服务器是多GPU服务器，因此需要在训练过程中，将网络参数都放入多GPU中进行训练。    正文开始：    涉及的代码为torch.nn.DataParallel，而且官方推荐使用nn.DataParallel而不是使用multiprocessing。官方代码文档如下：nn.DataParallel   教程文档如下：tutorial...
pytorch遇到的bug记录—2
羊藤枝的博客
06-15 1万+
问题描述： 我定义的网络模型除了原始的参数之外，还自定义了一组参数，这组参数也要参与训练，但是我在使用torch.nn.DataParallel 进行多GPU训练时，出现bug如下: Traceback (most recent call last): File "train_search.py", line 741, in <module> architecture.main() File "train_search.py", line 358, in main tra
PyTorch教程：使用DataParallel实现多GPU数据并行训练
最新发布
gitblog_00080的博客
06-05 343
PyTorch教程：使用DataParallel实现多GPU数据并行训练 前言 在现代深度学习实践中，使用多个GPU进行训练已经成为提升模型训练效率的常规手段。PyTorch提供了nn.DataParallel这一简单而强大的工具，可以帮助开发者轻松实现多GPU数据并行训练。本文将详细介绍如何使用DataParallel来加速模型训练过程。 数据并行基础概念 数据并行(Data Paralleli...
Pytorch多GPU训练时使用hook提取模型中间层输出时与模型输入张量不在同一个GPU上的解决办法
qq7835144的博客
01-12 1716
Pytorch多GPU训练时使用hook提取模型中间层输出时与模型输入张量不在同一个GPU上的解决办法 通常对于单卡训练的模型，使用hook可以较为方便地提取出模型中间层输出。 例如我们想要获取自定义模型DBL中的conv2d的输出，可以先打印出这个网络，获取到conv2d在模型中的次序，然后使用for循环确定其位置并注册hook。 参考https://www.jianshu.com/p/0a270d63aca9 import torch import torch.nn as nn class CBL(n
【编程BUG】Pytorch 使用DataParallel时报告数据和模型不在同一个设备上的错误
qq_42363777的博客
06-24 661
解决Pytorch 使用DataParallel时报告数据和模型不在同一个设备上的错误
Pytorch使用torch.nn.DataParallel()在Linux服务器上多GPU训练
guoqiangszu的博客
05-01 1546
前期我自己也在网上也找了很多相关的文章，但是都不能用。后来结合Pytorch中多GPU训练这篇文章，加上自己的尝试，终于成功在服务器上使用多gpu训练成功。 首先，使用代码 os.environ["CUDA_VISIBLE_DEVICES"] = "2， 3， 4" 这句代码能够告诉程序接下来要使用的gpu编号是哪几块。比如服务器上有8块gpu，编号为0，1， 2，……，7，你只想用其中的2,...
Bug记录——nn.Parameter（）参数不更新、根据loss自学习权重变量不更新、pytorch 模型自定义参数不更新、网络梯度为None，参数不更新解、tensor参数有梯度，但不更新
Chaoy6565的博客
05-03 5738
记录一个bug。bug描述：这是关于一个Pytorch模型自定义nn.Parameter（）参数不更新的bug。就是用nn.Parameter（）定义一个参数变量，它可以根据loss调整大小。1、看该变量的梯度是否为0或者为None。2、学习率是否过小和过大。3、是否加入了optimal的优化参数序列中。4、softmax也会使结果失去梯度,用log_softmax代替。5、torch.argmax(),会使结果失去梯度。
【Pytorch Debug】加载保存模型 每次推理结果都不同 / unexpected_keys或者missing_keys / torch.nn.DataParallel( ).cuda()
weixin_46318945的博客
10-29 2449
【bug描述】：模型为仅保存参数的模型，已确定加载语句 “没有问题” ，且每次测试的图片数据固定，但是每次推理得到的结果都不一样。 【bug分析】：实际上在加载模型并不是完全没有问题，在使用如下加载语句时出现 cnn.load_state_dict(torch.load(os.path.join(MODEL_PATH,"model.pth"))['model']) #保存语句如下： #torch.save({ # 'model':cnn.state_dict(), # 'optimiz.
pytorch 单机多GPU训练RNN遇到的问题
01-06
在使用DataParallel训练中遇到的一些问题。 1.模型无法识别自定义模块。 如图示，会出现如AttributeError: ‘DataParallel’ object has no attribute ‘xxx’的错误。 原因：在使用net = torch.nn.DataParallel(net)之后，原来的net会被封装为新的net的module属性里。 解决方案：所有在net = torch.nn.DataParallel(net)后调用了不是初始化与forward的属性，需要将net替换为net.module。 2.隐藏状态不被拆分到多GPU里。 这种错误常出现在RNN以及衍生
Pytorch使用DataParallel后仍只使用一个GPU
qq_45347185的博客
05-14 1889
服务器类型：slurm管理下的超算服务器系统：linuxpython版本：3.8虚拟环境：virtualenvpytorch版本：1.10问题描述：在服务器上用上卡跑模型时，使用后，模型和数据仍然只占用第一个gpu，然后内存爆掉。
torch.nn.DataParallel的多GPU训练导致OOM解决方法
bb8886的博客
06-15 1108
torch.nn.DataParallel的多GPU训练导致OOM解决方法
使用torch.nn.DataParallel进行多GPU的训练
YasmineC的博客
08-17 1596
由于模型的特殊性，已经尝试过在batch_size=10的情况下在一张24G的3090ti上跑，但仍然提示CUDA out of memory，因此只能求助于使用多卡进行训练… torch.nn.DataParallel()的原理如下： 首先把模型加载到一个主设备 把模型只读复制到多个设备 把大的batch数据也等分到不同的设备 最后将所有设备计算得到的梯度合并更新主设备上的模型参数 清楚这个原理后，只需要完成两步即可： 将模型加载到主设备并复制到多个设备 model = torch.n
nn.DataParallel失效卡死，无输出
studyduts的博客
07-27 2207
解决torch.nn.DataParallel卡死在foward()处，无输出
torch.nn.DataParalle多GPU运行时第一个epoch卡住问题
weixin_46786533的博客
09-03 2056
使用nvidia-smi查看GPU状态时，会有一个GPU一直100%，另一个GPU0%一直保持不变。
pytorch跨设备保存和加载模型（变量类型(cpu/gpu)不匹配原因之一）
zsycode的博客
04-17 1991
原官网教程地址 跨设备保存和加载模型 保存在GPU上，在CPU上加载 保存： torch.save(model.state_dict(), PATH) 加载： device = torch.device('cpu') model = TheModelClass(*args, **kwargs) model.load_state_dict(torch.load(PATH, m...
跨设备的模型保存和加载
qq_39697468的博客
10-09 195
GPU保存，CPU加载 PATH = './model.pth' torch.save(model.state_dict(), PATH) device = torch.device('cpu') model = Net() model.load_state_dict(torch.load(PATH, map_location=device)) 2.保存在GPU 上，在 GPU 上加载 device = torch.devic...
#01【chatglm】双GPU微调时报错“不在相同设备上”-已解决
ouhuixiong的博客
08-02 940
还有同学是几年前的老爷机/笔记本，或者希望大幅提升部署/微调模型的速度，我们应用了动态技术框架，大幅提升其运算效率（约40%），节省显存资源（最低无显卡2g内存也能提升），工众后台：“加速框架”；如果你还不知道该怎么微调训练模型，我系统更新了训练和微调的实战知识库，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。今天，在【NLP学习群】中，一位同学反馈，单卡微调时很顺利，但是双显卡微调时显示错误，他自己折腾好几天都没解决。为了解决这个问题，你需要确保在所有操作中使用相同的设备。
FSDP出现ValueError: Must flatten tensors with uniform dtype but got torch.float16 and torch.uint8，该如何解决
02-20
总的来说，解决这个问题的关键在于确保在同一个FSDP实例中的所有张量（参数和缓冲区）都具有相同的数据类型，通过检查和调整模型结构或FSDP的包装策略来实现这一点。在使用</think> PyTorch 的 **FSDP（Fully ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值