大模型微调系列 之 QLoRA 使用 Axolotl 对 Llama 3.1 405B 进行微调，系统 RAM 约为 256GB

简介

在 Llama 的 405B 模型令人兴奋不已的情况下，很少有人能够在没有多个 H100 节点的情况下对其进行微调。Snowflake 声称使用他们修改后的 ZeRO-2 实现应该可以做到这一点，但我无法重现这一点。

在对单个节点上的 405B 进行微调的各种尝试中，我发现需要约 1.6–1.8TB 的系统 RAM 来进行卸载，因为目前 transformers 尝试将权重卸载到cpu每个等级上。我们从answer.ai了解到，我们只需要在 rank0 上执行此操作，并将参数权重加载到meta所有其他等级上的设备上。

推荐文章

• 《我找到了 4 个 Midjourney 的免费替代品，停止为 Midjourney 付费，有免费的 AI 替代品》 权重1，本地类、会图类

• 《知识图谱大模型系列之 01 利用 KeyBERT、HDBSCAN 和 Zephyr-7B-Beta 构建知识图谱，LLM 增强的自然语言处理和传统机器学习技术用于从非结构化语料库中提取结构并构建知识图》 权重1，本地