CEloss nan

### 解决 PyTorch 中 Cross Entropy Loss 返回 NaN 的方法 在深度学习模型训练过程中，`CrossEntropyLoss()` 函数返回 `NaN` 是一种常见的错误情况。这种现象通常由以下几个原因引起： #### 1. 输入数据中的数值不稳定 当输入张量（logits）包含非常大或非常小的值时，可能会导致数值溢出或下溢，从而引发梯度爆炸或消失问题[^1]。为了防止这种情况发生，可以对 logits 进行裁剪操作。 ```python import torch import torch.nn as nn class ClampedCrossEntropy(nn.Module): def __init__(self): super(ClampedCrossEntropy, self).__init__() def forward(self, inputs, targets): # Clamp the values to avoid numerical instability clamped_inputs = torch.clamp(inputs, min=-1e3, max=1e3) log_probs = torch.log_softmax(clamped_inputs, dim=1) loss = -torch.sum(targets * log_probs) / inputs.size(0) return loss ``` 通过上述方式，可以在一定程度上缓解因数值不稳定性引起的 `NaN` 问题[^3]。 #### 2. 数据预处理不当 如果目标标签 (`target`) 或预测概率分布存在非法值（如负数、超出范围的索引），也会导致计算失败并产生 `NaN` 值。因此，在调用损失函数之前应验证数据的有效性。 ```python def validate_data(inputs, targets): assert isinstance(inputs, torch.Tensor), "Inputs must be a tensor" assert isinstance(targets, torch.LongTensor), "Targets must be long tensors" assert not (inputs.isnan()).any(), "Input contains NaNs!" assert not (targets >= inputs.shape[1]).any(), \ f"Target indices out of range! Max index should be {inputs.shape[1]-1}" validate_data(input_tensor, target_tensor) ``` 此部分逻辑可以帮助提前发现潜在的数据质量问题[^2]。 #### 3. 学习率设置过高 过高的优化器学习率可能导致权重更新幅度过大，进而破坏网络内部状态平衡，最终造成损失发散至无穷大甚至变为未定义(`NaN`)形式。适当降低初始步长或者采用动态调整策略能够有效改善这一状况。 ```python optimizer = torch.optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.99)) scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, 'min', patience=5) for epoch in range(num_epochs): ... scheduler.step(validation_loss) ``` 以上代码片段展示了如何利用余弦退火机制逐步缩减当前迭代周期内的实际应用速率。 --- ### 总结 综上所述，针对 PyTorch 下 `CrossEntropyLoss` 输出为 `NaN` 的情形可以从三个方面入手排查：一是确保前馈阶段产生的原始得分处于合理区间；二是仔细审查样本标注是否存在异常；三是谨慎挑选超参配置尤其是涉及自适应调节的部分。经过这些改进措施之后，绝大多数情况下都可以成功规避此类故障的发生。 ```python # Example usage with validation checks integrated. input_tensor = torch.randn((batch_size, num_classes), requires_grad=True) target_tensor = torch.randint(low=0, high=num_classes, size=(batch_size,), dtype=torch.long) validate_data(input_tensor, target_tensor) criterion = ClampedCrossEntropy() output = criterion(input_tensor, torch.eye(num_classes)[target_tensor]) if output.isnan(): raise ValueError("Loss computation resulted in NaN despite safeguards.") else: print(f'Computed cross-entropy value: {output.item()}') ```