大模型微调

以下是在本地部署使用LLaMA-Factory导出的LoRA模型，并通过Ollama运行的步骤指南：

1. 准备工作

• 已训练好的LoRA模型: 确保通过LLaMA-Factory导出了LoRA适配器文件（通常是 adapter_model.bin 和 adapter_config.json）。
• 基础模型: 准备LoRA适配器对应的基座模型（如LLaMA-2、Mistral等），需转换为Ollama支持的格式（如GGUF）。
• Ollama环境: 确保已安装Ollama（官网下载）。

2. 将模型转换为GGUF格式

如果基础模型尚未是GGUF格式，需使用 llama.cpp 工具转换：

步骤

1. 克隆 llama.cpp 仓库并安装依赖：

   git clone https://github.com/ggerganov/llama.cpp
   cd llama.cpp
   make
   

2. 转换PyTorch模型到GGUF：