微调模型导入ollama

原创

已于 2025-01-13 14:32:58 修改 · 752 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#llama

于 2025-01-08 14:48:28 首次发布

要将微调模型导入ollama，需要先将模型转换为gguf文件

一、gguf文件转换

将模型转换为gguf文件需要使用llama.cpp，先进行程序下载和环境配置

1.llama.cpp程序下载及环境配置

git clone https://github.com/ggerganov/llama.cpp.git
conda create -n llama-cpp-env python=3.10
conda activate llama-cpp-env
pip install -r requirements.txt

2.模型类型转换

python convert_hf_to_gguf.py /mnt/NLP_model/LLM/lamafac/Qwen2.5-7b-Instruct-train_2024-12-02-10-12-42/ --outfile /mnt/zzk/Qwen2.5-7b-Instruct-qa.gguf  --outtype q8_0