大模型推理框架选型调研

原创 已于 2024-10-17 16:17:22 修改 · 2.1k 阅读 · 16 ·
CC 4.0 BY-SA版权
huadong
文章标签：

#人工智能 #AI编程 #推理引擎 #vllm

于 2024-10-15 19:19:26 首次发布

文章目录

背景

公司需要新增了 GPU 机器自部署大模型服务用于支撑 AI 业务。目前市场上存在多种推理引擎，既有由大型科技公司如 Nvidia 和微软开发的成熟产品，也有新兴的开源项目。这些引擎在推理性能、优化支持、易用性等方面各有优势和特点，选择合适的推理引擎需要综合考虑这些因素，以确保模型在实际部署中能够达到最佳的性能和效率。

选型评估指标

推理性能

  • 吞吐量（Requests Per Second）
  • 响应时间
  • 生成速度（Tokens Generated Per Second）
  • 支持的模型数量

推理优化支持程度

  • 模型侧：是否支持快速低比特量化【重要】，有哪些手段，复杂度如何
    • Low Bit
    • AWQ
    • KV Cache
  • 工程服务侧：是否支持服务并发优化【重要】，有哪些手段，复杂度如何
  • 工程服务侧：是否支持分布式优化【次重要】，有哪些手段，复杂度如何
  • 模型侧：是否支持访存优化【较重要】，有哪些手段，复杂度如何
    • Page Atten.
    • Flash Atten.
  • 模型侧：是否支持算子优化【较重要】，有哪些手段，复杂度如何
  • 其他：是否具有其他新型优化技术的支持

易用性与学习成本

  • 直观代码量（高 - >5k，中 - 1~5k，低 - <1k）
  • 部署过程复杂度（高 - 依赖多、步骤多，低 - 一键部署）
  • API 设计清晰度
  • 官方文档可读性

可持续维护性

  • 开源社区活跃度
    • Stars 数
    • Open Issues 数
  • 开源社区成熟度
    • 是否有官方网站与社区
    • 是否有可追踪的核心开发小组
    • 是否有实体主体或可查的 funding 公司
    • Reddit 讨论热度
    • Twitter 讨论热度

技术兼容性

  • 与目前部门技术语言的兼容
  • 与其他工具的兼容，如 Agent 框架
  • 与未来技术的兼容性（即拓展性）

技术备选

从发布时间和核心开发厂牌来区分，分成老牌和新贵两类

老牌

  1. vLLM：由 Nvidia 开源，专为降低大模型推理的显存占用设计。vLLM 通过将模型的部分保存在 CPU 内存或硬盘上，并仅加载当前计算所需的部分到 GPU 显存中，从而打破 GPU 显存的限制。它支持 PyTorch 和 FasterTransformer 后端，能够适配现有模型，并实现高效的推理加速。
  2. Tensorrt-LLM & Triton：NVIDIA TensorRT-LLM 和 Triton 推理服务器是两个不同但互补的技术，主要用于优化和部署大型语言模型（LLM）的推理服务。
    • TensorRt：Nvidia 在 TensorRT 推理引擎基础上，为 Transformer 类大模型推理优化的框架。它支持多种优化技术，如 kernel 融合、矩阵乘优化、量化感知训练等，并支持多 GPU 多节点部署，可扩展到万亿规模参数。Tensorrt-LLM 在 Nvidia 的测试中表现出显著的推理加速。
    • Triton： Triton Inference Server 是一个端到端的推理服务框架，支持多种模型格式和推理引擎。
  3. Text Generation Inference (TextGen)：由 Hugging Face 主导的开源推理框架，专为自然语言生成模型如 GPT、OPT 等提供高性能推理。TextGen 高度优化了核心代码，支持 FP16、int8 等多种精度，并支持多 GPU 多节点扩展。在 OPT-175B 基准测试中，TextGen 实现了显著的推理加速。
  4. DeepSpeed：由微软开源，是一个大模型训练加速库，其推理加速版本 DeepSpeed-Inference 通过内存优化、计算优化、通信优化等手段，降低了推理延迟并提升了吞吐量。它支持多 GPU 横向扩展，并集成了 Hugging Face transformers 库，简化了使用流程。

新贵

  1. LLama.cpp：是一个开源的 C++ 库，用于加载和运行由 Meta（原 Facebook）公司开源的预训练大型语言模型 LLaMA。它通过优化和量化权重，使得在各种硬件上本地运行大型模型成为可能，包括在手机、笔记本电脑以及树莓派等设备上。提供基础的推理功能，但可能缺少一些高级功能，如上下文管理、插件系统等。
  2. Ollama：是一个开源的大型语言模型服务工具，旨在帮助用户快速在本地运行大型语言模型，如 LLaMA。利用 Docker 容器技术简化了大型语言模型的部署和管理过程，使得用户可以通过简单的命令在本地运行模型。支持多种操作系统，包括 Windows、macOS 和 Linux，并提供了丰富的预训练模型库。

分析

TensorRT-LLM

  • TensorRT-LLM 是一个易于使用的 Python API，用于定义大型语言模型（LLM），并构建包含最先进优化的 TensorRT 引擎，以在 NVIDIA GPU 上高效执行推理。TensorRT-LLM 包含用于创建执行这些 TensorRT 引擎的 Python 和 C++ 运行时的组件，它还包括与 NVIDIA Triton 推理服务器集成的后端。使用 TensorRT-LLM 构建的模型可以在从单个 GPU 到多个节点（使用张量并行或管道并行）的多个 GPU 的广泛配置上执行。
  • 为了最大化性能并减小内存占用，TensorRT-LLM 允许使用多种量化模式执行模型，TensorRT-LLM 支持 INT4 或 INT8 量化（以及 FP16 激活；也称 INT4/INT8 weight-only），以及 SmoothQuant 技术的完整实现。

Nvidia Triton Inference Server

  • 在 TensorRT-LLM 里，它实现了模型的加载以及推理的调用。但是在生产上，我们不可能仅有这套 API 工具就足够，而还需要对应一套 Serving 服务，也就是一套 Server 框架，帮助我们部署各种模型，并以 API 的方式（例如 HTTP/REST 等）提供模型的推理服务，同时，还要能提供各种监控指标（例如 GPU 利用率、服务器吞吐、延迟等），可以帮助用户了解负载情况，并为后续扩缩容的推理服务的实现提供指标基础。
  • 所以，要创建一个生产可用的 LLM 部署，可使用例如 Triton Inference Server 的 Serving 服务，结合 TensorRT-LLM 的推理引擎，利用 TensorRT-LLM C++ runtime 实现快速推理执行。同时它还提供了 in-flight batching 和 paged KV caching 等推理优化。
  • 这里还需要再强调的是：Triton Inference Server，如其名字所示，它只是一个 Server 服务，本身不带模型推理功能，而是提供的 Serving 的服务。模型推理功能的实现，在 Triton 里是通过一个 backend 的抽象来实现的。TensorRT-LLM 就是其中一种 backend，可以对接到 Triton Inference Server 里，提供最终的模型推理功能。所以，Triton 不仅仅是只能和 TensorRT-LLM 集成使用，还可以和其他推理引擎集成，例如 vLLM。

TensorRT-LLM 与 vLLM 对比

vLLM 是开源社区一个非常热门的推理引擎，推理优化技术中的 Page Attention 这一重要就是源自 vLLM。在阅读官方文档，并对两个模型进行部署实验后，有大致如下直观感觉：

  1. vLLM 非常易于使用：vLLM 无论是环境准备（pip 即可）、模型部署（不需要编译模型）还是上手难度（文档全面、社区活跃），均优于 TensorRT-LLM 。TensorRT-LLM 的学习成本以及故障排查的难度都要高于 vLLM
  2. vLLM 支持的硬件部署选项更多：TensorRT-LLM 作为英伟达推出的框架，主要是针对自家的 GPU 进行的优化，所以仅适用于 Nvidia CUDA 。而 vLLM 目前除了支持 Nvidia CUDA 外，还支持 AMD ROCm、AWS Neuron 和 CPU 的部署
  3. 在性能表现上，参考社区在 2024 年 6 月使用 LLAMA3-8B 和 LLAMA3-70B with 4bit 量化模型做的 benchmark 测试，可以看到 vLLM 在TTFT（Time to First Token，即从发送请求到生成第一个token的时间，在交互式聊天场景较为重要）上表现不俗，优于 TensorRT-LLM。但是在 Token 生成速率上 TensorRT-LLM 表现更好（特别是在做了 4-bit 量化后，两者表现差异更大）

建议与结论

从 TensorRT-LLM+Triton 这套方法的部署过程来看，还是较为复杂的，需要先对模型进行编译，还要特别注意环境、参数的设置，稍不注意就无法正常部署。除此之外，Nvidia 的文档也不够清晰。总体来说，学习成本比较高，但也带来了相对应的推理效果提升的收益（相对于vLLM在量化模型推理、以及token生成速度的场景）。但是，在模型推理场景下，推理效果也并不是唯一选择因素，其他例如框架易用性、不同底层硬件的支持，也需要根据实际情况进行考量，选择最合适推理引擎。

系列文章：

一、大模型推理框架选型调研
二、TensorRT-LLM & Triton Server 部署过程记录
三、vLLM 大模型推理引擎调研文档
四、vLLM 推理引擎性能分析基准测试
五、vLLM 部署大模型问题记录
六、Triton Inference Server 架构原理

浅谈大模型「蒸馏」是什么技术！
女王の专属领地
02-17 981
大模型蒸馏（Model Distillation）是一种将大型、复杂模型（教师模型）的知识迁移到小型、高效模型（学生模型）的技术，旨在解决大模型部署成本高、推理速度慢的问题。为什么要用蒸馏把大模型学习到的东西迁移到小模型呢？因为大的模型很臃肿，而真正落地的终端算力有限，比如手表，安防终端。所以要把大模型变成小模型，把小模型部署到终端上。核心原理。
国产大模型轻量部署实测报告：推理速度 × 内存占用 × 精度表现全维度对比与趋势解析
最新发布
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-07 981
国产大模型落地不止于“部署成功”，还要关注是否“跑得稳 × 算得准 × 撑得起”。 本篇基于 Jetson Nano / Orin、Android、iOS 等多平台，对轻量化后的 Qwen、DeepSeek 等模型进行全流程实测，涵盖推理速度、显存占用、精度保持率与能效评分等关键指标。 同时，提出适配不同端侧应用的部署建议、工具链组合方式，并分析国产模型轻量化在未来 Agent / 私有应用中的落地趋势，是你进行模型选型、性能预估与实际部署的实用指南。
大模型项目整体规划、技术选型和案例分析经验分享
安静的软件工程师
04-14 2413
大模型项目整体规划、技术选型和案例分析经验分享
AI大模型入门基础教程（非常详细），AI大模型入门到精通，收藏这一篇就够了！
weixin_58753619的博客
04-02 5748
AI大模型是指使用大规模数据和强大的计算能力训练出来的人工智能模型。这些模型通常具有高度的准确性和泛化能力，可以应用于各种领域，如自然语言处理、图像识别、语音识别等。
大模型训练显存优化推理加速方案
orangerfun的博客
09-22 2014
当前的深度学习框架大都采用的都是fp32来进行权重参数的存储，比如Python float的类型为双精度浮点数fp64，pytorch Tensor的默认类型为单精度浮点数fp32。随着模型越来越大，加速训练模型的需求就产生了。在深度学习模型中使用fp32主要存在几个问题，第一模型尺寸大，训练的时候对显卡的显存要求高；第二模型训练速度慢；第三模型推理速度慢。其解决方案就是使用低精度计算对模型进行优化。本文主要讲解几种优化显存存储的方法。
4个顶级的大模型推理引擎
新缸中之脑
10-02 3529
LLM 在文本生成应用中表现出色，例如具有高理解度和流畅度的聊天和代码完成模型。然而，它们的庞大规模也给推理带来了挑战。基本推理速度很慢，因为 LLM 会逐个生成文本标记，需要对每个下一个标记进行重复调用。随着输入序列的增长，处理时间也会增加。此外，LLM 有数十亿个参数，很难在内存中存储和管理所有这些权重。为了优化 LLM 推理和服务，有多个框架和软件包，在本博客中，我将使用和比较以下推理引擎：TensorRT-LLM、vLLM、LMDeploy 和 MLC-LLM。
一文了解八款主流大模型推理框架
m0_59235245的博客
03-08 1966
当前大模型推理平台/引擎生态各具特色，从企业级高并发服务到本地轻量化部署，从国产硬件优化到前沿编译技术探索，每种方案都有其独到优势。选择合适的推理方案不仅需考虑技术指标，更要结合业务场景、硬件资源与未来扩展规划。未来，随着技术的不断进步和产业协作的加深，大模型推理生态将呈现出更加多元、灵活和高效的局面，为各领域在激烈竞争中抢占先机提供强大支撑。
大模型训练和推理
weixin_45325331的博客
02-27 4665
大模型训练moe是指混合专家（Mixture-of-experts，简称MoE）的，这是一种用于提高大型神经网络性能的技术，它可以将模型的一部分替换为多个专家，每个专家只负责处理一部分输入数据，从而增加模型的参数量和表达能力，同时减少计算量和训练时间。指令可以作为模型的输入的一部分，也可以作为模型的输出的一部分，具体取决于任务的类型。上下文扩展技术的，这是一种用于提高大型语言模型（LLM）对长文本的处理能力的技术，它可以让模型在不增加参数量的情况下，扩展其注意力范围，从而提高模型的语言理解和生成能力。
大模型时序预测初步调研20240506
05-06 634
大模型时许预测研究旨在利用LLM的能力进行时序分析，探索使用LLM的超量参数与强大的推理能力，将时许预测历史知识应用到具体场景下的数值时序分析中。
CV算法推理框架应用.zip
06-24
一个算法模型的落地需要经历从算法任务确立，到方法调研、模型选型和优化、数据采集标定、模型训练、部署验证等一整个pipeline，其中对于绝大多数的算法工程师，模型的训练和输出是没有问题的，但是要快速地进行模型...
大模型推理引擎vllm，sglang，transformer，exllama详细介绍和区别
热门推荐
全世界的博客
09-10 1万+
在本文中，我们详细介绍了四种大模型推理引擎：vLLM、SG-Lang、Transformer和ExLlama。每种引擎都有其独特的技术特点、应用场景和优缺点。
大模型的好伙伴，浅析推理加速引擎FasterTransformer
zenRRan的博客
05-18 1700
来自：吃果冻不吐果冻皮进NLP群—>加入NLP交流群最近几个月，随着ChatGPT的现象级表现，大模型如雨后春笋般涌现。而模型推理是抽象的算法模型触达具体的实际业务的最后一公里。但是在这个环节中，仍然还有很多已经是大家共识的痛点和诉求，比如：任何线上产品的用户体验都与服务的响应时长成反比，复杂的模型如何极致地压缩请求时延？模型推理通常是资源常驻型服务，如何通过提升服务单机性能从而增加QPS，...
大模型（LLM）的推理加速
qq_52053775的博客
05-02 9564
论文分析并总结了如何提高大型语言模型（LLM）在推断阶段的效率。文中指出，尽管LLM在多种任务中表现出色，但它们在资源有限的环境中的部署却面临着由于模型大小、注意力机制的复杂性和自回归解码过程所带来的计算和存储成本的挑战。文章通过建立一个包含数据层面、模型层面和系统层面优化的全面分类体系，探讨了当前文献中的不同优化策略，并进行了一系列比较实验，以提供定量见解。最后，文中还总结了现有知识并讨论了未来的研究方向。 Transformer由注意力机制和FFN层构成，自注意力机制带来大量的计算量，计算
大模型在线推理优化：GPU资源和推理框架如何选择？
musicml的博客
04-01 4745
▼最近直播超级多，预约保你有收获—1—大模型在线推理 GPU 资源如何选择？大模型在线推理需要多少 GPU 资源，取决于大模型本身的参数，计算公式为：部署显存（单位 GB ）= 参数量（单位 B）* A。（A 为参数精度，参数精度 FP32时 A=4，参数精度 FP16时 A=2）。在 ChatGLM-6B 大模型上实测，显存推算基本符合上述计算公式。目前市场上常见的大模型参数规模有7B、13B...
AI大模型推理速度翻倍，Colossal-Inference开源发布
luchentech的博客
05-22 1248
潞晨科技公司为此打造了高效易用的Colossal-Inference推理引擎，可显著提高AI大模型吞吐速度，以应对推理场景中的性能瓶颈和成本挑战。该推理引擎集成了分块显存管理与分页注意力算法，预设与自定义模型优化策略，连续批处理调度。预设中提供高性能手写算子, 第三方的算子加速库；而在预设之外，用户可以通过使用基础算子与模型层，自行搭建自定义模型优化策略，对指定模型进行优化。
英伟达发布 VILA 视觉语言模型，实现多图像推理、增强型上下文学习，性能超越 LLaVA-1.5
nulifancuoAI的博客
05-16 1714
近年来，大型语言模型 (LLM) 的发展取得了显著的成果，并逐渐应用于多模态领域，例如视觉语言模型 (VLM)。VLM 旨在将 LLM 的强大能力扩展到视觉领域，使其能够理解和处理图像和文本信息，并完成诸如视觉问答、图像描述生成等任务。然而，现有的 VLM 通常缺乏对视觉语言预训练过程的深入研究，导致模型在多模态任务上的性能和泛化能力受限。
大模型推理框架概述
2301_78285120的博客
10-09 2567
vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。PagedAttention 是 vLLM 的核心技术，它解决了LLM服务中内存的瓶颈问题。传统的注意力算法在自回归解码过程中，需要将所有输入Token的注意力键和值张量存储在GPU内存中，以生成下一个Token。这些缓存的键和值张量通常被称为KV缓存。
大模型最快推理芯片一夜易主：每秒500tokens干翻GPU！谷歌TPU人马打造，喊话奥特曼：你们也太慢了
lqfarmer的博客
02-21 867
来源 | 量子位太快了太快了。一夜间，大模型生成已经没什么延迟了……来感受下这速度。，时长00:06眼花缭乱了吧，生成速度已经接近每秒500 tokens。还有更直观的列表对比，速度最高能比以往这些云平台厂商快个18倍吧。（这里面还有个熟悉的身影：Lepton）。值得一提的是，这并非哪家大公司进展——初创公司Groq，谷歌TPU团队原班人马，基于自研芯片推出推理加速方案。（注意不是马斯克的Grok）据他们介绍，其推理速度相较于英伟达GPU提高了10倍，成本却降低到十分之一。
大模型推理方向
03-18
### 大模型推理的技术与方法 大模型推理涉及多个关键技术领域，包括但不限于高效的内存管理、并行化处理以及特定硬件加速等。以下是关于大模型推理的一些核心技术和方法： #### 1. 内存优化技术 为了提高大模型推理的效率，许多框架采用了先进的内存优化技术。例如，PagedAttention 是一种通过分页机制来减少内存浪费的方法[^2]。这种方法能够显著降低 GPU 显存占用率，从而支持更大规模的模型运行。 #### 2. 创新优化策略 除了 PagedAttention，还有其他一些创新性的优化手段被广泛应用于当前的大模型推理框架中。比如 Flash Attention 和类似的算法改进措施也被集成到某些工具链里，进一步增强了系统的整体表现力[^3]。 #### 3. 推理框架选型 针对不同场景需求可以选择合适的大模型推理框架。像 vLLM 这样的项目不仅提供了详尽的调研资料还进行了实际性能评测工作；另外 TensorRT-LLM 结合 NVIDIA 的专用库可以实现高度定制化的解决方案[^1]。 #### 4. 部署平台架构设计 Triton Inference Server 提供了一个灵活可扩展的服务端架构用于大规模生产环境下的 AI 应用程序部署。它允许用户轻松定义复杂的多阶段管道流程，并且兼容多种主流机器学习框架输出格式的数据结构对象作为输入参数传递给下游组件进行后续操作处理。 ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("bigscience/bloom") model = AutoModelForCausalLM.from_pretrained("bigscience/bloom") def generate_text(prompt): inputs = tokenizer.encode(prompt, return_tensors="pt").cuda() outputs = model.generate(inputs, max_length=50) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return result print(generate_text("Once upon a time")) ``` 上述代码片段展示如何利用 Hugging Face Transformers 库加载预训练好的 BLOOM 模型完成简单的文本生成任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

✦昨夜星辰✦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值