pytorch内置激活函数

### 回答1： Swish激活函数的PyTorch代码如下： ```python import torch.nn.functional as F class Swish(nn.Module): def forward(self, x): return x * F.sigmoid(x) ``` 使用时，可以将其作为一个普通的激活函数使用： ```python import torch.nn as nn model = nn.Sequential( nn.Linear(10, 20), Swish(), nn.Linear(20, 1) ) ``` ### 回答2： Swish激活函数是一种新型的激活函数，它可以通过对激活函数进行计算优化，提升神经网络的性能。在Pytorch中，我们可以很容易地实现swish激活函数。下面是Pytorch代码实现Swish激活函数： ```Python import torch import torch.nn as nn import torch.nn.functional as F # 定义Swish激活函数的类 class Swish(nn.Module): def __init__(self): super(Swish, self).__init__() def forward(self, x): return x * torch.sigmoid(x) # 定义神经网络 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 16, 3, padding=1) # 卷积层 self.pool = nn.MaxPool2d(2, 2) # 池化层 self.conv2 = nn.Conv2d(16, 32, 3, padding=1) self.fc1 = nn.Linear(32 * 8 * 8, 120) # 全连接层 self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) self.swish = Swish() # 使用Swish激活函数 def forward(self, x): x = self.pool(self.swish(self.conv1(x))) x = self.pool(self.swish(self.conv2(x))) x = x.view(-1, 32 * 8 * 8) x = self.swish(self.fc1(x)) x = self.swish(self.fc2(x)) x = self.fc3(x) return x ``` 上面的代码中，我们首先定义了Swish激活函数的类，并且在该类中实现了forward函数。然后我们定义了神经网络Net类，在该类中定义了卷积层、池化层、全连接层以及Swish激活函数。在Net类的forward函数中，我们使用Swish激活函数代替了原来的ReLU激活函数，并且按照卷积层、池化层、全连接层的顺序将网络连接起来。 在使用该神经网络进行训练和预测时，我们可以直接调用Net类，例如： ```Python # 准备数据 train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True) test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False) # 定义神经网络 net = Net() # 定义损失函数和优化器 criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(net.parameters(), lr=0.001, momentum=0.9) # 训练神经网络 for epoch in range(10): # 训练10个epoch running_loss = 0.0 for i, (inputs, labels) in enumerate(train_loader, 0): optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print('Epoch %d, loss: %.3f' % (epoch+1, running_loss/len(train_loader))) # 预测结果 correct = 0 total = 0 with torch.no_grad(): for (images, labels) in test_loader: outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy on test set: %.2f %%' % (100 * correct / total)) ``` 在上面的代码中，我们首先准备数据，并定义神经网络、损失函数和优化器。然后按照训练集进行训练，并在每个epoch结束时输出训练损失。最后在测试集上进行预测，并计算模型在测试集上的准确率。 ### 回答3： Swish激活函数是一种深度学习中常用的激活函数，被证明能够提升神经网络的性能和准确性。在PyTorch中，我们可以使用以下代码实现Swish激活函数： ``` import torch import torch.nn as nn import torch.nn.functional as F class Swish(nn.Module): def forward(self, x): return x * torch.sigmoid(x) ``` 在这个代码块中，我们定义了一个名为Swish的类，继承了nn.Module。我们在类中定义了一个forward方法，该方法传入一个参数x，表示输入的数据。在forward方法中，我们将x与sigmoid函数的结果相乘，即可得到Swish激活函数的输出。 事实上，由于Swish激活函数是一个比较新的激活函数，因此PyTorch 1.7版本及之前版本并未内置Swish激活函数。如果你想在PyTorch 1.7及之前的版本中使用Swish激活函数，可以使用以下代码： ``` import torch import torch.nn.functional as F def swish(x): return x * torch.sigmoid(x) ``` 在这个代码块中，我们定义了一个名为swish的函数，该函数传入一个参数x，表示输入的数据。在函数中，我们将x与sigmoid函数的结果相乘，即可得到Swish激活函数的输出。 需要注意的是，在PyTorch 1.8及之后版本中，已经内置了Swish激活函数。因此，你可以直接使用以下代码： ``` import torch.nn.functional as F x = torch.randn(3, 4) out = F.silu(x) print(out) ``` 在这个代码块中，我们调用了PyTorch的内置函数F.silu，将输入的数据x进行了Swish激活处理。

### PyTorch 激活函数使用教程 #### 什么是激活函数？ 激活函数在神经网络中起到引入非线性的关键作用，使得模型能够学习复杂的模式和映射关系。如果没有激活函数，多层神经网络本质上只是一个线性变换[^3]。 --- #### 常见的激活函数及其用途 1. **ReLU (Rectified Linear Unit)** ReLU 是最常用的激活函数之一，定义如下： \[ f(x) = \begin{cases} x & \text{if } x > 0 \\ 0 & \text{otherwise} \end{cases} \] 实现方式： ```python import torch import torch.nn as nn relu_activation = nn.ReLU() input_tensor = torch.tensor([-1.0, 0.0, 1.0]) output = relu_activation(input_tensor) print(output) # 输出: tensor([0., 0., 1.]) ``` 2. **Leaky ReLU** Leaky ReLU 解决了传统 ReLU 在负区间梯度消失的问题，允许一小部分负值通过。其公式为： \[ f(x) = \begin{cases} x & \text{if } x > 0 \\ ax & \text{if } x \leq 0 \end{cases} \] （其中 \(a\) 是一个小正数，默认为 0.01）。 实现方式： ```python leaky_relu_activation = nn.LeakyReLU(negative_slope=0.01) input_tensor = torch.tensor([-1.0, 0.0, 1.0]) output = leaky_relu_activation(input_tensor) print(output) # 输出: tensor([-0.0100, 0.0000, 1.0000]) ``` 3. **GELU (Gaussian Error Linear Units)** GELU 是一种平滑版的 ReLU，结合了线性和非线性特性，在某些任务上表现出色。其实现有两种形式：精确计算和近似计算。 实现方式： ```python gelu_activation = nn.GELU() input_tensor = torch.tensor([-1.0, 0.0, 1.0]) output = gelu_activation(input_tensor) print(output) # 输出: tensor([-0.1587, 0.0000, 0.8413]) ``` 4. **Sigmoid** Sigmoid 将任意实数值压缩到 [0, 1] 范围内，常用于二分类问题中的概率预测。 实现方式： ```python sigmoid_activation = nn.Sigmoid() input_tensor = torch.tensor([-1.0, 0.0, 1.0]) output = sigmoid_activation(input_tensor) print(output) # 输出: tensor([0.2689, 0.5000, 0.7311]) ``` 5. **Softmax** Softmax 通常用于多分类问题的最后一层，将 logits 转换为概率分布。 实现方式： ```python softmax_activation = nn.Softmax(dim=1) input_tensor = torch.tensor([[1.0, 2.0, 3.0], [1.0, 2.0, 3.0]]) output = softmax_activation(input_tensor) print(output) # 输出: [[0.0900, 0.2447, 0.6652], [0.0900, 0.2447, 0.6652]] ``` 6. **Tanh (Hyperbolic Tangent)** Tanh 将输入压缩到 [-1, 1] 范围内，相较于 Sigmoid 更容易训练深层网络。 实现方式： ```python tanh_activation = nn.Tanh() input_tensor = torch.tensor([-1.0, 0.0, 1.0]) output = tanh_activation(input_tensor) print(output) # 输出: tensor([-0.7616, 0.0000, 0.7616]) ``` 7. **Softplus** Softplus 是 ReLU 的光滑版本，可以避免梯度爆炸或消失问题。其公式为： \[ f(x) = \log(1 + e^x) \] 实现方式： ```python softplus_activation = nn.Softplus() input_tensor = torch.tensor([-1.0, 0.0, 1.0]) output = softplus_activation(input_tensor) print(output) # 输出: tensor([0.3133, 0.6931, 1.3133]) ``` --- #### 如何选择合适的激活函数？ 不同的激活函数适用于不同场景，以下是常见建议： - 对于隐藏层，推荐使用 ReLU 或其变体（如 Leaky ReLU、GELU），因为它们能有效缓解梯度消失问题并加速收敛。 - 如果需要输出的概率值，则可以选择 Sigmoid 或 Softmax。 - 若希望保留更多细节信息而不需要严格的边界约束，可尝试 Tanh 或 Softplus。 --- #### 定义自定义激活函数 如果内置激活函数无法满足需求，还可以通过继承 `nn.Module` 来创建自己的激活函数。例如： ```python class CustomActivation(nn.Module): def forward(self, x): return torch.log(1 + torch.exp(x)) custom_activation = CustomActivation() input_tensor = torch.tensor([-1.0, 0.0, 1.0]) output = custom_activation(input_tensor) print(output) # 自定义激活函数的结果 ``` ---