2403_83147124的博客

ReLU（Rectified Linear Unit，整流线性单元）是一种常用的激活函数，在深度学习中广泛应用于神经网络的隐藏层。ReLU 激活函数的定义非常简单：这意味着对于输入 xx，如果 xx 大于 0，则输出 xx；如果 xx 小于或等于 0，则输出 0。

dtype返回张量中元素的数据类型。shape 和 sizetensor.shape 或 tensor.size()：返回张量的形状，可以使用两者互换使用。tensor.size(dim)：返回张量在指定维度上的大小。dim返回张量的维度数gradtensor.grad：返回张量的梯度。如果张量是一个叶子节点并且未执行反向传播，则 tensor.grad 通常为 None。device返回张量当前所在的设备和is_leaf。