『大模型笔记』如何通过“持续批处理(Continuous Batching)”来扩展 LLM 应用的处理能力！

• 如果你想部署一个大型语言模型（LLM）的推理接口，那么必须认真考虑_如何处理大量的请求。在传统的机器学习模型中，通常可以让请求排队，等待服务器空闲后再进行推理处理。然而，大型语言模型的每个请求可能需要几秒钟才能完成处理_。那么问题来了：我们如何扩展到每秒处理数百个请求呢？下面我们来详细讲解一下。

一、LLM 请求和传统模型的不同

• 首先，需要明确的是，大型语言模型在处理请求时，与普通的机器学习模型有很大不同。主要的区别在于它的延迟非常高，因为模型需要时间来_逐步解码出完整的文本序列。所以，当我们向一个 LLM 发送多个请求时，如何应对这种解码过程带来的延迟就变得非常关键。很多时候，一个完整的文本生成可能需要几秒钟，我们不能指望每个请求都等待这么久。