PyTorch自定义梯度

HackerTom

于 2020-12-31 16:03:33 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签： pytorch 梯度 Htanh autograd

本文链接：https://blog.csdn.net/HackerTom/article/details/112018620

机器学习专栏收录该内容

121 篇文章

订阅专栏

本文介绍了如何在PyTorch中定义一个自定义的激活函数——Htanh，该函数结合了sign函数的正向特性与tanh的平滑导数。Htanh在x接近0时导数为1，其他情况下导数为0，适用于某些特定的神经网络结构。代码示例展示了Htanh函数的前向传播和反向传播实现，并给出了使用示例。此外，还提到了Binarized Neural Networks的相关内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[3] 的一个简例。正向 sign： $y=\text{sign}(x)=\begin{cases} & -1 & x < 0 \\ & 0 & x = 0 \\ & 1 & x > 0 \end{cases}$ 反向 Htanh： $\frac{\partial y}{\partial x}=\begin{cases} & 1 & -\epsilon\le x\le \epsilon \\ & 0 & else \end{cases}$

Code

import torch

class Htanh(torch.autograd.Function):
    @staticmethod
    def forward(ctx, x, epsilon=1):
        ctx.save_for_backward(x.data, torch.tensor(epsilon))
        return x.sign()

    @staticmethod
    def backward(ctx, dy):
        x, epsilon = ctx.saved_tensors
        dx = torch.where((x < - epsilon) | (x > epsilon), torch.zeros_like(dy), dy)
        return dx, None

用例

htanh = Htanh()
x = torch.tensor([-2.5, -1.6, 0, 3.6, 4.7])
y = htanh.apply(x)

PyTorch自定义梯度

Code

References