使用 AMD GPU 推理 Mixtral 8x22B

Inferencing with Mixtral 8x22B on AMD GPUs — ROCm Blogs

2024年5月1日，由 Clint Greene撰写。

简介 

自从Mistral AI’s AI发布了Mixtral 8x7B以来，专家混合（MoE）在AI社区重新获得了关注。受此发展启发，多个AI公司陆续推出了基于MoE的模型，包括xAI的Grok-1、Databricks的DBRX和Snowflake的Artic。与相同规模的密集模型相比，MoE架构具备一些优势，包括更快的训练时间、加快的推理速度和在基准测试中的性能提升。该架构由两个部分组成。第一部分是稀疏的MoE层，用以替代典型Transformer架构中的密集前馈网络（FFN）层。每个MoE层包含特定数量的专家，通常这些专家本身就是FFN。第二部分是一个路由网络，决定哪些tokens发送到哪些专家。由于每个token仅被路由到一部分专家，推理延迟显著缩短。

Mixtral 8x22B是一个稀疏的MoE解码器仅变换器模型。它与Mixtral 8x7B共享相同的架构，不同之处在于增加了头数、隐藏层数和上下文长度。对于每一个token，在每一层，路由网络选择2个专家进行处理，并使用加权和来组合它们的输出。因此，Mixtral 8x22B总共有141B参数，但每个token仅使用39B参数，以类似39B模型的速度和成本进行输入处理和输出生成。此外，Mixtral 8x22B在标准行业基准测试如MMLU上表现优异，提供了出色的性能与成本比。

如果想深入了解MoE和Mixtral 8x22B，我们推荐阅读Mixture of Experts Explained 和MistralAI的论文Mixtral of Experts 。

Prerequisites

运行此博客之前，您需要以下条件:

• AMD GPUs: 请参阅