Gradient checkpointing 核心流程详细讲解

最新推荐文章于 2025-06-23 17:04:14 发布
最新推荐文章于 2025-06-23 17:04:14 发布
阅读量1.4k 收藏 21
点赞数 18
CC 4.0 BY-SA版权
分类专栏： NLP&机器学习 文章标签： checkpointing llm chatgpt nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36803941/article/details/144240508

文章目录

0. 概述

Gradient checkpointing 的核心思想是不保存所有层的激活值，而是只保存一部分关键点的激活值。当需要计算某个特定层的梯度时，如果该层的激活值没有被直接保存，那么可以通过重新计算从最近的关键点到该层的前向传播来获得这些激活值。这样做的代价是增加了计算量，因为部分前向传播过程需要重复执行，但可以显著降低内存使用。

下图是一个具有n层的简单前馈神经网络计算图：

其中：

  • f f f 表示前向传播的激活计算节点
  • b b b 表示反向传播的梯度计算节点

1. 简单反向传播

1.1 整体流程

简单反向传播（Vanilla backpropagation）中：

  1. 为了在反向传播阶段能够高效地计算梯度，前向传播时所有 f f f 节点都保存在内存中；
  2. 只有当反向传播进行到足以计算出 f f f 节点的所有依赖项或子节点时，才能将其从内存中删除。

这种方式意味着简单的反向传播所需的内存随着神经网络层数n成线性增长。

执行顺序和使用内存如下：
在这里插入图片描述

其中：

  • 紫色的圆圈表示保留在内存的计算节点；
  • 箭头的指向表示节点的依赖关系，例如：A --> B 表示 B 节点的计算依赖 A 的数据。

1.2 详细说明

为了

最低0.47元/天 解锁文章

新学期VIP享超值加赠
大模型微调新手全流程友好指南
master_hunter的博客
05-08 265
在深入讲解之前，我们先来简单地理解一下“微调”的概念：大模型微调（Fine-tuning），就是在预训练好的大语言模型（例如Qwen、GPT系列、DeepSeek等）基础上，利用特定的数据集对模型的参数进行小规模训练，以更好地适应特定任务或领域。比如，你有一个通用的语言模型，但你想专门用来写金融报告或者进行客服问答，那么通过微调，这个模型就能更高效地完成这些特定任务。
文末含资料链接和视频讲解！YOLOv8集成LSKA注意力机制详细教程
最新发布
FJN110的博客
06-24 71
本文介绍了在YOLOv8中集成LSKA注意力机制的详细方法。LSKA是一种高效的大可分离内核注意力机制，通过将传统的大核卷积分解为水平和垂直1-D卷积核，显著降低了计算复杂度。文章从原理到实现全面解析了LSKA机制，包括其核心设计思路（支持7×7到53×53多种核尺寸）、性能优势（计算效率高、内存占用低）以及代码实现细节。该教程为读者提供了在YOLO模型中应用先进注意力机制的完整指南，有助于提升目标检测性能。
gradient_checkpointing以计算时间换取内存
小姑仔的博客
07-07 4167
gradient_checkpointing的方法能够以计算时间去换取内存，这里我阅读longformer的源代码的时候，读取到了以下的内容，可以作为以计算时间换取内存的经典代码方式 if self.gradient_checkpointing and self.training: #gradient_checkpoint:以计算时间换内存的方式，显著减小模型训练对gpu的占用 def create_custom_forward(module): def custom_for
gradient_checkpointing
andeyeluguo的博客
01-09 2661
在训练深度神经网络时，反向传播算法需要在前向传播和反向传播之间存储中间计算结果，以便计算梯度并更新模型参数。需要注意的是，梯度检查点技术在减少内存消耗的同时，会导致额外的计算开销。因此，在决定使用梯度检查点时，需要权衡内存消耗和计算开销之间的折衷。梯度检查点技术通过在前向传播期间临时丢弃一些中间结果，仅保留必要的信息，以减少内存使用量。在反向传播过程中，只需要重新计算被丢弃的中间结果，而不需要存储所有的中间结果，从而节省内存空间。然后，在反向传播过程中，这些层将重新计算其所需的中间结果，以便计算梯度。
Pytorch Lightning 进阶 1 - 梯度检查点（Gradient Checkpointing）
weixin_44212848的博客
06-23 685
梯度检查点是深度学习中的显存优化技术，1. 正向传播时，模型不会保存所有注意力图和隐藏层输出。2. 反向传播时，PyTorch会利用检查点重新计算这些值，从而减少显存占用。
大模型高效训练基础知识：梯度检查点（Gradient Checkpointing）
热门推荐
Steve Wang's blog
07-08 1万+
前向传播过程中计算节点的激活值并保存，计算下一个节点完成后丢弃中间节点的激活值，反向传播时如果有保存下来的梯度就直接使用，如果没有就使用保存下来的前一个节点的梯度重新计算当前节点的梯度再使用。
Pytorch --gradient_checkpointing 使用示例
子燕若水的博客
01-18 1427
相比于原本需要存储所有中间变量以供反向传播使用，使用了checkpoint的部分不存储中间变量而是在反向传播过程中重新计算这些中间变量。查了一下，PyTorch提供了一种更优雅的解决方式gradient checkpoint（查了一下应该是0.4.0之后引入的新功能），以计算时间换内存的方式，显著减小模型训练对GPU的占用。减小输入的大小，e.g.332 × \times× 332 × \times× 3 → \rightarrow→ 224 × \times× 224 × \times× 3。
DLA 神经网络的极限训练方法：gradient checkpointing
ResumeProject的博客
08-05 951
一般来说，训练的过程需要保存中间结果（不管是GPU还是CPU）。前向传播根据输入(bottom_data)计算输出(top_data)，后向传播由top_diff计算bottom_diff（如果某个变量打开梯度进行训练的话）。如果不保存这些变量，每次传播时重新分配和计算，会大大减少内存的使用量，但是也会使得网络的训练时间无限延长。
大模型参数高效微调（PEFT）技术解析及微调加速实践
chenxyuan1tuo的博客
06-17 1297
本文详细介绍了几种高效微调方法的原理解析和实验效果对比，并基于Unsloth做了一些微调加速的实践尝试。实验效果显示结合优秀的低参微调方法和微调加速，完全可以做到极为高效的微调大模型，可以在极低的资源占用上得到媲美全参微调的效果。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
解释以下这段代码的含义torchrun --nproc_per_node="8" \ --nnodes="1" \ --node_rank="0" \ --master_addr="127.0.0.1" \ --master_port="12346" \ src/open_r1/grpo_rec.py \ --deepspeed local_scripts/zero3.json \ --output_dir output/$RUN_NAME \ --model_name_or_path Qwen/Qwen2.5-VL-3B-Instruct \ --dataset_name data_config/rec.yaml \ --image_root <your_image_root> \ --max_prompt_length 1024 \ --num_generations 8 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 2 \ --logging_steps 1 \ --bf16 \ --torch_dtype bfloat16 \ --data_seed 42 \ --report_to wandb \ --gradient_checkpointing false \ --attn_implementation flash_attention_2 \ --num_train_epochs 2 \ --run_name $RUN_NAME \ --save_steps 100 \ --save_only_model true
04-25
#### **三、分布式训练执行流程** 1. **节点初始化**： ```python torch.distributed.init_process_group(backend='nccl') rank = int(os.environ["RANK"]) # 自动获取环境变量（引用[4]） ``` 2. **数据分片**...
显存优化：梯度检查点Gradient Checkpoint和梯度累积Gradient Accumulation
vivi_cin的博客
05-11 659
是两种不同的显存优化技术，虽然目标类似（减少训练时的显存占用），但实现原理完全不同。若想用更大的 batch size（如提升训练稳定性），可通过累积梯度实现，但不会减少单步显存占用。：显存占用可减少到原来的 1/√N（N 为模型层数），但会增加约 30% 的计算时间。：显存占用与小 batch 相同，但训练时间更长（因需多次前向/反向）。需要大 batch 但显存不足时（如目标检测、大语言模型微调）。：根据保存的检查点，重新计算被丢弃的中间结果（额外计算开销）。，模拟大 batch 的效果。
[AI算法] LLM中的gradient checkpoint机制
头狼博客
06-01 516
梯度检查点(Gradient Checkpoint)是一种深度学习显存优化技术，通过在训练过程中选择性保存中间激活值来降低内存消耗。该技术以Transformer Block为单位，仅保存输入输出，在反向传播时重新计算中间结果，从而大幅节省显存占用。适用于训练大型模型、增加批处理尺寸或深层网络(如Transformer)等场景。但需注意该技术会因重复计算而延长训练时间，且可能与其他优化方法存在兼容性问题。实际应用中建议先进行有效性测试。
深度学习优化-Gradient Checkpointing
yuweififi的专栏
03-13 508
在反向传播时，如果需要这些被丢弃的激活值，则重新计算它们。通过这种方式，显存使用量可以从 O(L) 降低到 O(K)，其中 L 是网络层数，K 是选择的检查点层数。是一种用于优化深度学习模型训练的技术，旨在减少训练过程中显存的占用。通过合理使用 Gradient Checkpointing，可以在有限的硬件资源下训练更大规模的模型，同时平衡显存和计算开销。：在反向传播时，如果需要被丢弃的激活值，则通过重新计算它们来获取，从而计算梯度。：在前向传播时，选择某些层作为检查点，保存这些层的激活值。
深度学习基础知识干货 | Gradient checkpointing
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
01-08 940
在深度学习中，反向传播（Backpropagation）是训练神经网络的关键步骤，其中需要保留前向传播时的中间结果以计算梯度。Gradient checkpointing通过在前向传播过程中将某些中间结果临时存储在内存中，而不是一直保留，从而显著减少了内存需求。具体而言，它通过在前向传播期间记录计算图的某些部分，然后在反向传播时重新计算这些部分，从而避免了在反向传播过程中保留所有中间结果。这种技术的主要优势是能够在有限的内存条件下训练更大的模型或处理更长的序列，从而提高了模型的训练效率。
InternVL2-Gradient Checkpointing（梯度检查点）
qq_15821487的博客
09-10 675
参数是一个布尔值，用于控制是否在模型训练过程中启用梯度检查点技术。启用梯度检查点可以减少内存占用，但可能会稍微增加计算时间。对于内存受限的场景，这是一个非常有用的优化手段。在设置该参数时，应根据实际的硬件条件和任务需求来决定是否启用。
梯度检查点（Gradient Checkpointing）的解释和举例
月亮不知道的博客
04-17 4939
梯度检查点（Gradient Checkpointing）是一种深度学习优化技术，它的目的是减少在神经网络训练过程中的内存占用。在训练深度学习模型时，我们需要存储每一层的激活值（即网络层的输出），这样在反向传播时才能计算梯度。但是，如果网络层数非常多，这些激活值会占用大量的内存。梯度检查点技术通过只在前向传播时保存部分激活值的信息，而在反向传播时重新计算其他激活值，从而减少了内存的使用。
pytorch模型训练之fp16、apm、多GPU模型、梯度检查点（gradient checkpointing）显存优化等
u013250861的博客
04-27 4621
这会增加计算时间，减少内存使用，但会产生数学上等价的结果。不过，在默认操作中不会特意设置这两个值（在源代码中默认为 0 和 1），所以会直接等效于正常的 forward 过程。
Gradient-checkpointing的原理
smartcat2010的博客
05-26 586
更激进的做法：如果有SSD等高速存储，可以将所有activation层落盘，backward时从SSD中load进显存，每次只load一层用完即删；N层网络，使用sqrt(N)个checkpoint，activation内存峰值是2*sqrt(N)，计算额外增加N层的forward计算；反向传播时，从最近的checkpoint去重新跑forward，这次跑的不删除；前向传播时，隔几层就保留一层activation数据，其余层的activation都释放掉；
Lamafactory详细教程
03-08
- `--gradient_checkpointing`: 使用梯度检查点技术（显存不足时启用）。 --- ### **6. 模型评估与推理** #### **评估模型性能** ```bash lamafactory evaluate \ --model_name_or_path output \ --dataset_path...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SmallerFL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值