大语言模型之七- Llama-2单GPU微调SFT

（T4 16G）模型预训练colab脚本在github主页面。详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb

在上一篇博客提到两种改进预训练模型性能的方法Retrieval-Augmented Generation (RAG) 或者 finetuning。本篇博客过一下模型微调。

微调：这是采用预训练的LLM并在较小的特定数据集上进一步训练它以适应特定任务或提高其性能的过程。通过微调，我们根据我们的数据调整模型的权重，使其更适合我们应用程序的独特需求。

从Hugging face的开源大模型排行榜open_llm_leaderboard可以看到Llama 2是一个高性能base model，并且其授权许可宽松，可用于商业用途的大语言模型，因而本篇以Llma-2的模型微调为例。

Llama-2 预训练

从零开始训练一个类似LlaMA 2的预训练模型需要庞大的数据和算力，预计的所有花费在一亿美金左右，这是很多公司和个人不具备这一经济条件，因而更容易些的做法是在开源预训练模型的基础上进行微调，这大大降低了数据集和算力的需求，作为个人也是可以实现的。

模型预训练colab脚本在git