使用Triton部署ONNX模型

最新推荐文章于 2025-06-24 14:01:21 发布

原创

最新推荐文章于 2025-06-24 14:01:21 发布 · 1.4k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#Triton #部署 #ONNX #nvidia

介绍

适用于各种 AI 工作负载的推理：借助 NVIDIA Triton™，在任何处理器（GPU、CPU 或其他）上，对使用基于任何框架的，经过训练的机器学习模型或深度学习模型，进行推理部署。Triton 是 NVIDIA AI 平台的一部分，可通过 NVIDIA AI Enterprise 获取。这款开源软件可针对各种工作负载，实现标准化的 AI 模型部署和执行。

优势

支持所有训练和推理框架：使用 Triton，部署基于任何主流框架的 AI 模型，包括 TensorFlow，PyTorch，Python，ONNX，NVIDIA® TensorRT™、RAPIDS™ cuML，XGBoost，scikit-learn RandomForest，OpenVINO，C++ 自定义框架等。

可在任何平台上实现高性能推理：借助动态批处理、并发执行、最佳模型配置，音视频串流输入支持，最大限度地提升吞吐量和资源利用率。Triton 支持所有 NVIDIA GPU，x86 和 Arm® 架构 CPU 以及 AWS Inferentia。

专为 DevOps 和 MLOps 设计的开源软件：可将 Triton 集成到 DevOps 和 MLOps 解决方案中，例如集成到 Kubernetes 实现规模化，或集成到 Prometheus 进行监测。Triton 也可以通过所有主流云平台、本地 AI 平台和 MLOps 平台获取。

企业级安全性、可管理性和 API 稳定性：NVIDIA AI Enterprise（包括 NVIDIA Triton 和 Triton Management Service），是一个安全的、生产就绪型的 AI 软件平台，提供支持、安全性和 API 稳定性，帮助企业加速开发 AI，实现收益。