关于Pytorch中parameters和buffer的理解

最新推荐文章于 2025-06-30 11:27:53 发布

给自己让步

最新推荐文章于 2025-06-30 11:27:53 发布

阅读量450

点赞数 2

CC 4.0 BY-SA版权

分类专栏：深度学习专栏文章标签： pytorch 人工智能 python

本文链接：https://blog.csdn.net/y15520833229/article/details/142861904

深度学习专栏专栏收录该内容

10 篇文章

订阅专栏

在深度学习训练过程中，有时需要在网络中添加额外的参数，这时候可有选择nn.Parameter()或者register_buffer()的方式，关于buffer和Parameter，我的理解是：它们都是可以随着model.cuda()一起加载到gpu上的，也可以一起被会保存在model.state_dict()中，但是不同之处在于，nn.Parameter()中的变量是可以计算梯度。并且会被optimizer.step()更新的，而register_buffer()一般来说，requires_grad默认为False，就是说一般不计算梯度，如果手动设置成True可以计算梯度，但是optimizer.step()时，并不会被更新。

import torch
from torch import nn
 
class mymodel(nn.Module):
    def __init__(self):
        super(mymodel, self).__init__()
        self.linear = nn.Linear(4, 1)
    def forward(self, x):
        return self.linear(x)
 
model = mymodel()
print(list(model.named_parameters()))

[(‘linear.weight’, Parameter containing:
tensor([[ 0.1173, -0.0988, -0.0900, -0.2869]], requires_grad=True)), (‘linear.bias’, Parameter containing:
tensor([-0.1965], requires_grad=True))]

注册weight parameters，名字为test

print('注册weight parameters，名字为test:')
my_test = nn.Parameter(torch.tensor([[-0.0995,  0.4867, -0.4920, -0.1703]]))
model.register_parameter('test',my_test)
print(list(model.named_parameters()))

[(‘test’, Parameter containing:
tensor([[-0.0995, 0.4867, -0.4920, -0.1703]], requires_grad=True)), (‘linear.weight’, Parameter containing:
tensor([[ 0.2731, 0.3823, -0.1088, -0.3679]], requires_grad=True)), (‘linear.bias’, Parameter containing:
tensor([-0.4443], requires_grad=True))]

See https://zhuanlan.zhihu.com/p/571590961?utm_id=0