m0_62237233的博客

阅读《Attention is All You Need》论文，理解自注意力机制和多头注意力。学习BERT、GPT等主流LLM的预训练和微调流程。

本文介绍了一种名为QLoRA的创新方法，用于有效微调LLMs（文中Guanaco模型）。这种方法通过减少微调模型所需的内存量，使得原本需要超过780GB GPU内存的6.5B参数模型微调，现在可以在小于48GB的GPU内存下完成，同时保持与16位全参数微调的性能相当。这项技术使得目前最大的公开可用模型能够在单个GPU上微调，显著提高了LLM微调的可行性。so，重点是减少微调模型所需内存的使用——>保持性能的同时，提高了LLM微调的可能性。一种理论上最适合正态分布数据的量化的新的数据类型。

随着大模型爆火，准备好好深入学习下，根据招聘岗位，总结了下大模型人才需要具备以下能力：深度学习与大模型开发：熟练掌握 PyTorch，了解 TensorFlow，熟悉 Transformer、BERT、GPT 等模型及其微调算法（如 LoRA）。大模型微调与优化：掌握微调方法（Supervised/PEFT）、指令微调、模型对齐、推理性能加速（vLLM、LmDeploy、Ollama 等）。

[Transformer整体结构图，与seq2seq模型类似，Transformer模型结构中的左半部分为编码器（encoder），右半部分为解码器（decoder），接下来拆解Transformer。