FLOPs、TFLOPs 与 TOPS：计算能力单位

      在 AI 模型和硬件性能讨论中，我们常会遇到几个计算能力的单位：FLOPs、TFLOPs 和 TOPS。它们都描述计算能力，但适用场景、计算类型和应用领域有所不同。理解它们有助于评估模型部署成本和硬件选型。

1. FLOPs（Floating Point Operations）

• 定义：一次浮点加法或乘法算作一次 FLOP

• 用途：衡量模型计算量或硬件浮点运算能力

• 应用领域：

  • 深度学习训练：计算模型每次前向和反向传播所需浮点运算量

  • 高性能计算（HPC）：科学计算、天气模拟、物理仿真等

  • 模型复杂度分析：帮助估算训练和推理所需算力

例子：一个 7B Transformer 模型的前向推理 FLOPs 可以达到数十亿次，训练时需要更多 FLOPs 来计算梯度。

2. TFLOPs（Tera FLOPs）

• 定义：万亿次浮点运算（10¹² FLOPs）

• 用途：衡量硬件理论峰值浮点计算能力

• 应用领域：

  • GPU 性能标注：如 NVIDIA、AMD 显卡的 FP32/FP16 理论峰值

  • 超级计算机性能：Top500 超算榜单中通常以 PFLOPs（千万亿 FLOPs）衡量

  • 深度学习加速：选择 GPU 训练或推理模型时参考峰值 TFLOPs

例子：RTX 4090 的 FP32 峰值约 82.6 TFLOPs，FP16 可达 165 TFLOPs。

3. TOPS（Tera Operations Per Second）

• 定义：万亿次算子运算，可以是浮点或整数运算

• 用途：衡量 AI 芯片或加速器的峰值推理能力

• 优势：

  • 适用于 量化模型（INT8/INT4）

  • 包括整数运算，更贴近实际推理速度

• 应用领域：

  • 嵌入式 AI：Raspberry Pi + Coral Edge TPU、Jetson Nano、NPU 芯片

  • 边缘推理设备：智能摄像头、物联网设备

  • 量化模型推理：加速推理、降低功耗

• 例子：

  • Edge TPU：约 4 TOPS INT8

  • Jetson Nano：0.5~1 TOPS INT8

  • 桌面 GPU 对量化模型可达几十到上百 TOPS

4. FLOPs 与 TOPS 的对比

简而言之：FLOPs/TFLOPs 适合训练和浮点计算分析，TOPS 更适合量化模型和嵌入式/边缘计算。

5. 实际应用示意

• 数据中心 GPU：大模型训练/推理 → 关注 FLOPs/TFLOPs

• 桌面 GPU：本地部署量化模型 → TOPS 可评估推理速度

• 嵌入式设备/单片机：量化模型推理 → TOPS 衡量性能和功耗

总结

• FLOPs：描述模型计算量，关注浮点运算

• TFLOPs：GPU/超算理论峰值，万亿级浮点运算

• TOPS：量化运算峰值，更适合 INT8/INT4 和边缘设备

• 在选择硬件或部署量化模型时，结合显存、延迟和算力指标，能更直观地评估性能和成本