GPU 利用率为什么是一个误导性指标？_大模型任务推理时gpu利用率对什么影响-CSDN博客

在机器学习模型的训练过程中，GPU 利用率常常被作为衡量GPU使用效率的关键指标。很多工程师会习惯性地使用 nvidia-smi 命令查看 GPU 的利用率，但实际上这个指标可能并不能准确反映 GPU 的真实性能表现。我们最近发现，即使GPU没有执行大量的计算任务，仅进行内存操作时，GPU利用率也可以显示为100%。这显然让人产生了误解。在本文中，我们将深入探讨这个问题，并分享一些提升GPU性能的实践经验。

GPU 利用率的陷阱

在我们与一家公司合作以优化大型语言模型（LLM）训练的过程中，我们实施了许多常见的GPU优化技术，例如：

调整数据加载器的参数，充分利用多核和批处理大小（如 num_workers, batch_size, pin_memory 等）
使用混合精度训练 (fp16, bf16) 来提升张量核心的使用效率
采用 apex 或 deepspeed 的优化器（如 FusedAdam, FusedAdamW 等）
在合适的硬件上训练（如 H100, A100），并尽量使用最新的GPU型号

这些改进确实帮助我们在任务管理器中看到了100%的GPU利用率。然而，当我们进一步检查工作负载的实际浮点运算性能时，发现我们模型的 MFU（每秒浮点运算数的利用率）仅为 20%。相比于行业中常见的 35%-45% 的 MFU，这显然还有很大的改进空间。

那么，问题就变成了：为什么GPU的计算利用率这么低，而GPU利用率却显示为100%？

什么是 MFU？

首先，简要介绍一下 MFU（每秒浮点运算数利用率，Model FLOPs Utilization）。它代表 GPU 实际执行的浮点运算数与理论最大浮点运算能力的比率。简单来说，它是衡量 GPU 的计算性能的一个关键指标，比单纯的 GPU 利用率更能反映 GPU 的使用效率。虽然这个指标难以计算，因为它依赖于具体的模型和框架，但它对于理解 GPU 的实际性能至关重要。

GPU 利用率的真正含义

为了理解 GPU 利用率为何具有误导性，我们需要了解它是如何定义的。根据 NVIDIA 文档，GPU 利用率松散地定义为“GPU 的计算资源和内存接口的当前利用率”。但这个定义相对模糊。根据更具体的解释，GPU 利用率其实是指“过去的采样周期内，GPU 上是否有一个或多个内核在执行任务的时间百分比。”

在深入分析后，我们发现 GPU 的利用率指标只关心 GPU 核心是否处于活跃状态，而不是有多少核心在工作，也不关心是否充分利用了 GPU 的并行计算能力。因此，GPU 利用率即使显示为100%，也不能说明 GPU 的所有计算资源都得到了充分利用。比如，只进行内存的读写操作，而不是执行实际的计算任务，GPU 利用率也会达到100%。

进一步的分析

我们通过 PyTorch Profiler 工具对训练过程进行了详细分析，发现某些内核（如 Softmax）的 GPU 利用率非常高，但实际的 SM 效率（流多处理器效率）却非常低。SM 效率代表的是 GPU 多处理器（如 Nvidia 的 SM，或 AMD 的 CU）在给定时间内的活跃程度。如果内核只使用了一个多处理器，而其他都闲置，SM 效率可能低至 0.7%。这种情况下，即使 GPU 利用率显示为100%，实际执行的计算任务仍然很少。

经过进一步优化，我们通过提升内核的并行度和减少内存瓶颈，最终将模型的训练速度提升了4倍，MFU 也达到了 38%。