【深度学习】Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因

### PyTorch 训练过程中 Exit 134 错误的原因分析 Exit 134 是一种常见的程序崩溃信号，通常表示程序因非法操作而终止运行。这种错误可能是由多种原因引起的，包括但不限于内存访问越界、指针未初始化、CUDA 内存分配失败或其他硬件资源不足等问题。 以下是可能导致该问题的具体原因以及解决方案： #### 1. **GPU/CPU 内存不足** 如果模型过大或者批量大小设置过高，可能会导致 GPU 或 CPU 内存耗尽，从而引发退出码 134 的错误[^2]。 - 解决方案：减少批量大小（batch size），优化模型结构以降低显存占用。 - 可通过以下方式监控显存使用情况： ```bash nvidia-smi ``` #### 2. **数据预处理中的 NaN 值** 输入数据中可能存在 `NaN` 或者无穷大值 (`inf`)，这会干扰模型的正常训练过程并触发异常行为[^2]。 - 使用 NumPy 检查是否有无效数值： ```python import numpy as np if np.any(np.isnan(input_data)): raise ValueError("Input data contains NaN values.") if np.any(np.isinf(input_data)): raise ValueError("Input data contains infinite values.") ``` #### 3. **损失函数配置不当** 某些特定类型的损失函数可能对目标值有严格的要求。例如，在使用交叉熵损失时，标签应为整数类别索引；而在使用均方误差（MSE）时，则需确保预测值和真实值在同一范围内。 - 验证 loss 函数是否适配当前任务需求，并调整其参数设定。 #### 4. **CUDA 运算错误** 当启用 CUDA 加速时，任何与 GPU 相关的操作都可能发生潜在风险，尤其是涉及张量形状不匹配或超出设备能力范围的情况。此外，多线程或多进程环境下的同步机制也可能成为隐患之一[^1]。 - 尝试禁用 CUDA 并切换到纯 CPU 模式重新测试流程： ```python device = torch.device('cpu') model.to(device) ``` - 如果仍然存在问题，则进一步排查代码逻辑缺陷。 #### 5. **第三方库冲突** 构建项目依赖项期间指定选项不合理亦或是版本兼容性不佳都会影响最终执行效果。例如 OpenCV 路径定义错误便会造成链接阶段失败[^1]。因此建议仔细核验 CMakeLists.txt 文件内容及其传递给编译器的各项标志位准确性。 --- ### 总结 针对上述提到的各种可能性逐一验证直至定位根本诱因所在为止。同时注意保存好每次修改后的备份以便回滚至稳定状态前的状态。