HuggingFace Transformer库如何在训练时降低GPU显存

最新推荐文章于 2025-07-28 21:28:41 发布
原创 最新推荐文章于 2025-07-28 21:28:41 发布 · 2.3k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能 #deepspeed #huggingface

文章目录

0. 引言

Hugging Face Transformers 是一个非常流行的库，用于处理自然语言处理任务。在使用该库进行模型训练时，可能会遇到显存（GPU内存）不足的问题。本文介绍可以尝试的方法来降低显存占用，

1. 减少批次大小 (Batch Size)

批次大小是影响显存占用的主要因素之一。减小批次大小可以显著减少显存消耗，但可能会延长训练时间。

TrainingArguments(
	per_device_train_batch_size=2/4/...  # 每个设备上的训练批次大小
)

如果你有多个GPU，则实际的每轮训练批次大小将是每个设备上的批次大小乘以GPU的数量。

2. 使用 Gradient Accumulation

当你减小了批次大小但仍然希望保持较大的有效批次大小时，可

最低0.47元/天 解锁文章

新学期VIP享超值加赠
transformers加载模型时自动选择空闲的单个GPU的实战代码
weixin_43178406的博客
07-20 6万+
本文主要介绍了transformers加载模型时自动选择空闲GPU的实战代码，希望能对使用huggingface transformers的同学们有所帮助。 文章目录 1. 背景描述 2. 实战 2.1 安装Python库 2.2 实战代码
第二章：huggingface的TrainingArguments与Trainner参数
weixin_38252409的博客
06-14 1680
大模型基本使用huggingface来实现。对于不太理解其内容基本按照官网教程或相关博客等来实现。想进一步激发开源大模型在行业领域提升性能是棘手问题。该问题会涉及开源代码二次开发进行实验测试。基于此，本教程不同文字或理论介绍内容，而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读，助力大模型使用。
Hugging Face 的 Transformers 库快速入门 （三）必要的 Pytorch 知识
liu_chengwei的博客
10-22 2360
在上一篇《模型与分词器》中，我们介绍了Model类和Tokenizers类，尤其是如何运用分词器对文本进行预处理。Transformers 库建立在 Pytorch 框架之上（Tensorflow 的版本功能并不完善），虽然官方宣称使用 Transformers 库并不需要掌握 Pytorch 知识，但是实际上我们还是需要通过 Pytorch 的DataLoader类来加载数据、使用 Pytorch 的优化器对模型参数进行调整等等。
Huggingface教程微调一个模型在GPU中的实现
weixin_44157403的博客
02-21 835
把datasets，transformer，huggingface_hub全部都升到最新版之后问题解决。这到底是啥问题，两边python的版本都是3.9.7。不知道，改了环境，路径，重写参数都不行，摆烂了。可是服务器已经一个通宵，有些离谱了家人们。接下来在定义超参数的时候又出现了问题。这是win10电脑导入的速度。参考github上的解答。
训练大模型显存不够解决方案
weixin_45985104的博客
07-28 157
3 如果大模型送入的prompt太长 需要很多token 占据显存 这时候需要减小token 但是针对数据时候需要删除这一部分超出token数量的数据 而不是保留 留着继续训练可能会导致模型幻觉 因为会截断。4 混合精度训练 在训练神经网络时**同时使用不同的数值精度（主要是 FP16 和 FP32）**来进行计算，以提升训练速度、减少显存占用，同时尽量保持模型性能不下降。到多个 GPU 上，每个 GPU 只负责一部分状态，从而降低显存压力。(2)Zero机制：将模型的状态（如参数、梯度、优化器状态）
模型训练超出gpu内存
weixin_34254848的博客
08-06 275
如果在训练 GRU 模型时超出 GPU 内存，可以尝试以下几种方法来减少内存使用：1.减少批量大小 (Batch Size)减少批量大小是最直接的方法，它会显著降低每次迭代的内存占用。登录后复制 batch_size = 32 # 尝试降低批量大小1.2.使用梯度累积 (Gradient Accumulation)...
huggingface使用GPU推理
我的博客
02-28 2170
google/flan-t5-small 大模型 推理
Hugging Face高效训练技术一：单 GPU 高效训练（Gradient Accumulation、Gradient Checkpointing、混合精度训练、优化其选择）
qq_56591814的博客
11-06 4722
介绍了单GPU训练的优化技巧
【深度学习】模型训练时减少GPU显存占用
藓类少女的博客
11-21 1937
在深度学习中，大的批量大小（batch size）可以提高模型性能和稳定性，但直接增大批量大小需要更多的显存。混合精度训练通过在深度学习模型的训练过程中，将部分数据和计算从 32 位浮点数（FP32）转换为 16 位浮点数（FP16），从而显著减少显存使用并提高训练速度。在深度学习中，大部分计算可以在更低的精度（FP16）下完成，而不会影响训练的准确性和稳定性。在深度学习中，反向传播需要保留前向传播过程中生成的中间激活值（activations）来计算梯度。在混合精度训练中，使用。
深度学习大模型分布式训练技术解析：Megatron-LM、DeepSpeed与HuggingFace Accelerate的应用与对比
最新发布
08-26
Megatron-LM 通过张量切分技术和流水线并行技术，显著降低了单个 GPU 的存储需求，提高了设备利用率；DeepSpeed 则凭借 ZeRO 优化器和混合精度训练等技术，解决了显存瓶颈问题，适用于硬件资源有限但需训练大规模...
如何估算LLM推理和训练所需的GPU内存？
u012374012的专栏
08-27 1442
在本文中，我们介绍的评估方法，都是基于Transformer架构推算的，该评估方法不适合Transformer以外的其他体系结构。同时，目前存在大量的框架、模型和优化技术，估计运行大型语言模型的确切内存可能很困难。然而，本文可作为估计执行 LLM 推理和训练所需内存资源的起点。
AI模型太大怎么办？模型压缩四大方法了解一下
紫雾凌寒
03-23 1515
本文论述了模型压缩作为深度学习领域的关键技术，通过 量化、剪枝、知识蒸馏和低秩分解 等方法，有效减少模型的存储空间和计算成本。未来，模型压缩技术有望在探索有效算法、结合新兴硬件与计算技术、拓展应用领域等方向取得突破。人工智能领域研究者和开发者应关注其发展，积极探索应用新方法。希望本文能为模型压缩技术学习和实践提供参考，期待其未来更多突破创新。​
训练参数设置，提高GPU使用率
T5A_318的博客
11-05 2992
1. batch_size, batch_szie决定了GPU的内存占用率，太大会cuda out of memory，太小GPU利用率很低。而且GPU的内存使用率受模型大小的影响很大，因此不同的模型对应的batch_size,会有很大差别。 （16G，faster-RCNN ：256，cycle-GAN：6） 2. num_works num_works 的大小取决于cpu的核心数和内存大小，num_work 会在GPU运算（cpu空闲）时，取读取磁盘的数据到内存，提高读取效率。但是设置太大会 o
Hugging Face的TrainingArguments常用参数学习
pumpkin84514的博客
05-22 1407
output_dir: 确保模型和结果保存位置。: 影响内存使用和训练速度。: 决定训练时长和模型的收敛程度。: 学习率，影响模型的学习速度和性能。: 正则化，防止过拟合。: 确保模型在训练过程中的监控和评估。fp16: 使用混合精度可以提高训练速度并减少内存占用，但需要兼容的硬件。通过合理配置这些参数，可以更好地控制模型训练过程，提高训练效率和模型性能。
huggingface 笔记：查看GPU占用情况
qq_40206371的博客
05-20 745
为了打印GPU利用率和使用Trainer进行训练运行的摘要统计信息，定义了两个辅助函数。在我这边的GPU上跑不起来：可能是不同版本的cuda、pytorch导致的（不确定）
CNN基础——如何设置BatchSize
热门推荐
AI浩
05-14 2万+
3.5 Batch_Size 3.5.1 为什么需要 Batch_Size？ Batch的选择，首先决定的是下降的方向。 如果数据集比较小，可采用全数据集的形式，好处是： 由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。 由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。 Full Batch Learning 可以使用 Rprop 只基于梯度符号并且针对性单独更新各权值。 对于更大的数据集，假如采用全数据集的形式，坏处是： 随着数据集的海量增长和内存限制
在模型训练过程中如何减轻显存负担？
LZL2020LZL的博客
01-02 284
在模型训练过程中如何减轻显存负担？
高效利用 Hugging Face 本地管道进行模型推理
afTFODguAKBF的博客
10-12 626
本文介绍了如何在本地使用 Hugging Face 管道进行模型推理，并探讨了不同的加速策略。希望对您的项目有所帮助。
LMDeploy 量化部署 LLM&VLM实战
qq_38943092的博客
05-10 1790
LMDeploy 量化部署 LLM&VLM实战。
huggingface的trainer怎么使用GPU加速训练
03-25
在问题生成部分，需要围绕这些主题提出相关问题，比如如何解决显存不足，混合精度训练的具体配置，DeepSpeed的高级优化，多GPU分布式训练的方法，以及优化器选择的影响。 需要检查所有技术细节的准确性，例如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SmallerFL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值