torch.nn.utils.clip_grad_norm_()函数详解

最新推荐文章于 2025-05-27 17:12:06 发布

小高高不要bug

最新推荐文章于 2025-05-27 17:12:06 发布

阅读量5.8k

点赞数 4

CC 4.0 BY-SA版权

文章标签： python 深度学习 pytorch

本文链接：https://blog.csdn.net/m0_46702604/article/details/121852450

本文详细介绍了PyTorch中用于梯度裁剪的函数`torch.nn.utils.clip_grad_norm_()`。该函数通过规范化参数梯度，限制其范数不超过指定的最大值，以防止梯度爆炸。当总范数超过最大范数时，会按比例调整梯度。源码分析展示了如何计算所有梯度的范数并进行裁剪。此功能对于训练深度学习模型的稳定性至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

torch.nn.utils.clip_grad_norm_()函数详解

torch.nn.utils.clip_grad_norm(parameters, max_norm, norm_type=2)

这个函数的主要目的是对 $parameters\ parameters$ 里的所有参数的梯度进行规范化;
$parameters\ parameters$ 为要规范的参数， $max\_norm$ 为所有参数的梯度的范数的上界， $norm\_type$ 为范数的类型，当 $norm\_type=inf$ 时，代表无穷范数;
设 $parameters\ parameters$ 里所有参数的梯度的范数为 $total\_norm$ ，
若 $max\_norm > total\_norm，$ $parameters\ parameters$ 里面的参数的梯度不做改变;
若 $max\_norm < total\_norm，$ $parameters\ parameters$ 里面的参数的梯度都要乘以一个系数 $clip\_coef$ ， $clip\_coef=max\_norm / (total\_norm + 1e-6)$
附上源码：（注意源码中的这句话"The norm is computed over all gradients together"——计算所有梯度的范数）

def clip_grad_norm_(parameters, max_norm, norm_type=2):
    r"""Clips gradient norm of an iterable of parameters.
    The norm is computed over all gradients together, as if they were
    concatenated into a single vector. Gradients are modified in-place.
    Arguments:
        parameters (Iterable[Tensor] or Tensor): an iterable of Tensors or a
            single Tensor that will have gradients normalized
        max_norm (float or int): max norm of the gradients
        norm_type (float or int): type of the used p-norm. Can be ``'inf'`` for
            infinity norm.
    Returns:
        Total norm of the parameters (viewed as a single vector).
    """
    if isinstance(parameters, torch.Tensor):
        parameters = [parameters]
    #第一步
    parameters = list(filter(lambda p: p.grad is not None, parameters))
    max_norm = float(max_norm)
    norm_type = float(norm_type)
    if norm_type == inf:
        total_norm = max(p.grad.data.abs().max() for p in parameters)
    else:
        total_norm = 0
        for p in parameters:
        	#第二步
            param_norm = p.grad.data.norm(norm_type)
            #第三步
            total_norm += param_norm.item() ** norm_type
        total_norm = total_norm ** (1. / norm_type)
    clip_coef = max_norm / (total_norm + 1e-6)
    if clip_coef < 1:
        for p in parameters:
            p.grad.data.mul_(clip_coef)
    return total_norm