NVIDIA JetPack 6.2 为 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 模块带来了超级模式

介绍 NVIDIA Jetson Orin Nano 超级开发工具包 的上市为小型边缘设备的 生成式人工智能 开启了一个新时代。新的 超级模式 给予了开发工具包高达 1.7 倍的前所未有的生成式人工智能性能提升，使其成为最具性价比的生成式人工智能超级计算机。

JetPack 6.2 现已推出，以支持Jetson Orin Nano和Jetson Orin NX生产模块的超级模式，提供高达 2 倍的生成 AI 模型性能。现在您可以为新的和现有的机器人及边缘 AI 应用程序释放更大的价值，并降低总体拥有成本。

本文讨论了超级模式的细节，包括新的功率模式、针对 Jetson Orin Nano 和 Orin NX 模块的流行生成 AI 模型的基准测试、文档更新以及支持超级模式的 NPN 合作伙伴的见解。

Jetson Orin Nano 和 Jetson Orin NX 系列的新参考电源模式

JetPack 6.2 通过解锁 GPU、DLA 内存和 CPU 时钟的更高频率，为 Jetson Orin Nano 和 Jetson Orin NX 系列提供了性能提升。

表 1. Jetson Orin Nano 和 Jetson Orin NX 模块的新参考功率模式

Jetson Orin Nano 模块现在有一个 25W 模式和一个新的无上限 MAXN SUPER 模式。同样，Jetson Orin NX 模块现在可以使用一个新的更高的 40W 参考功率模式以及一个无上限 MAXN SUPER 模式。

MAXN SUPER 是一种不受限制的电源模式，允许 CPU、GPU、DLA、PVA 和 SOC 引擎使用最高数量的核心和时钟频率。如果在此模式下模块的总功率超过了热设计功率（TDP）预算，则模块将被限制到较低的频率，从而在保持在热预算内的同时提供较低的性能。

我们强烈建议您构建自己的自定义电源模式，以找到适合您应用和需求的功耗或热稳定性与性能之间的合适平衡。

表 2 比较了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在其原始模式和超模式下的详细规格。

表 2. Jetson Orin Nano 和 Jetson Orin NX 的原始规格以及超级模式下的规格

在使用新的电源模式时，请确保您产品现有或新的热设计能够满足电源模式的新规格。有关更多信息，请参阅更新的热设计指南。

更新的功率估算工具

功率估算工具是 NVIDIA 提供的一个强大工具，通过修改系统参数（如核心、最大频率和 GPU、CPU、DLA 等的负载水平）来创建自定义功率配置文件和nvpmodel配置文件。该工具提供了在各种设置下的估算功耗，并可用于创建最佳参数设置，以实现性能与功耗之间的理想平衡。

我们已经更新了超级模式的电力估算工具。我们强烈建议您使用电力估算工具，并在高性能应用部署之前进行实际验证。

提升热门生成性 AI 模型的性能

随着 JetPack 6.2 引入超级模式，Jetson Orin Nano 和 Jetson Orin NX 模块提供高达 2 倍的推理性能提升。我们基准测试了最流行的大型语言模型 (LLMs)、视觉语言模型 (VLMs) 和视觉transformer (ViTs)。

大型语言模型

以下图表和表格显示了流行的 LLMs 的超级模式性能基准，如 Llama3.1 8B、Qwen2.5 7B 和 Gemma2 2B。

DNR 意味着模块上的内存不足以运行特定模型。模型性能将受到限制行为的影响。

在下表中，LLM 生成性能（每秒令牌数）在使用 MLC API 的 INT4 量化下进行了测量。

表 3 显示了在 JetPack 6.2 下，Jetson Orin Nano 4GB 上LLM的性能提升。

表 3. Jetson Orin Nano 4GB 上流行LLMs的基准性能（以令牌/秒计）

表 4 显示了在 JetPack 6.2 下 Jetson Orin Nano 8GB 上LLM的性能提升。

表 4. 在 Jetson Orin Nano 8GB 上流行LLMs的基准性能（以每秒令牌数计）

表 5 显示了在 JetPack 6.2 下，Jetson Orin NX 8GB 上LLM的性能提升。

表 5. Jetson Orin NX 8GB 上流行LLMs的标杆性能（以每秒令牌数计算）

表 6 显示了在 JetPack 6.2 下，Jetson Orin NX 16GB 上的LLM性能提升。

表 6. Jetson Orin NX 和 Orin Nano 模块上流行 LLMs 的基准性能（以每秒 tokens 计）

视觉语言模型

以下图表和表格显示了如 VILA1.5 8B、LLAVA1.6 7B 和 Qwen2 VL 2B 等流行 VLM 的超级模式性能基准。

DNR 意味着模块上的内存不足以运行特定模型。模型性能将受到限制行为的影响。

表 7 显示了在 JetPack 6.2 下，Jetson Orin Nano 4GB 上的 VLM 性能提升。

表 7. Jetson Orin Nano 4GB 上流行 VLM 的基准性能（以令牌/秒为单位）

表 8 显示了在 JetPack 6.2 下，Jetson Orin Nano 8GB 上 VLM 性能的提升。

表 8. Jetson Orin Nano 8GB 上流行 VLM 的基准性能（以令牌/秒计）

表 9 显示了在 JetPack 6.2 下，Jetson Orin NX 8GB 上的 VLM 性能提升。

表 9. Jetson Orin NX 16GB 上流行 VLM 的基准性能（以每秒令牌数计）

表 10 显示了使用 JetPack 6.2 的 Jetson Orin NX 16GB 上的 VLM 性能提升。

表 10. Jetson Orin NX 和 Orin Nano 模块上流行 VLM 的基准性能（每秒令牌数）

所有 VILA 和 LLAVA 模型使用 MLC 以 INT4 精度运行，而其余模型使用 Hugging Face Transformers 以 FP4 精度运行。

视觉transformer

以下图表和表格展示了流行的 ViTs（如 CLIP、DINO 和 SAM2）的超级模式性能基准。

DNR 意味着模块上的内存不足以运行特定模型。模型性能将受到限制行为的影响。

表 11 显示了在 JetPack 6.2 下，ViT 在 Jetson Orin Nano 4GB 上的性能提升。

表 11. Jetson Orin Nano 4GB 上流行 ViT 的基准性能（以 token/秒为单位）

表 12 显示了在 JetPack 6.2 下，ViT 在 Jetson Orin Nano 8GB 上的性能提升。

表 12. Jetson Orin Nano 8GB 上流行 ViTs 的每秒标记基准性能

表 13 显示了在 JetPack 6.2 下，ViT 在 Jetson Orin NX 8GB 上的性能提升。

表 13. Jetson Orin NX 8GB 上流行 ViT 的基准性能（以每秒令牌数为单位）

表 14 显示了在 JetPack 6.2 下，ViT 在 Jetson Orin NX 16GB 上的性能提升。

表 14. Jetson Orin NX 16GB 上流行 ViT 的基准性能（帧/秒）

所有的 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度运行，测量单位为 FPS。

开始使用 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 及 JetPack 6.2

NVIDIA Jetson 生态系统提供了多种方法让您使用 JetPack 镜像为开发者套件和生产模块刷机。

要在 Jetson Orin Nano 开发套件或模块上安装 JetPack 6.2，请使用以下方法之一：

• SD-Card 镜像 来自 JetPack SDK 页面。
• SDK Manager 用于根据 下载和安装说明 进行刷机。
• 为引导程序、内核和根文件系统的刷写脚本，参考刷写支持。

新的闪光配置

新的电源模式仅在新的闪烁配置下可用。默认的闪烁配置没有改变。要启用新的电源模式，您必须在闪烁时使用新的闪烁配置。

这是用于刷写的新闪存配置：

在闪存或更新到 JetPack 6.2 后，运行以下命令以启动新可用的超级模式。

MAXN SUPER 模式在 Jetson Orin Nano 模块上：

MAXN SUPER 模式在 Jetson Orin NX 模块上：

您还可以从页面右上角的电源模式菜单中选择 MAXN SUPER 和其他电源模式。