ollama 使用自定义大模型

AI大模型学习教程

于 2025-07-24 10:00:48 发布

阅读量929

点赞数 17

CC 4.0 BY-SA版权

分类专栏： AI大模型大模型教程文章标签：人工智能机器学习大模型学习大模型教程 ollama Python

本文链接：https://blog.csdn.net/m0_59162248/article/details/149595518

AI大模型同时被 2 个专栏收录

53 篇文章

订阅专栏

大模型教程

53 篇文章

订阅专栏

前言

一、下载源码

1.下载ollama源码

2.下载llama.cpp源码

3.复制项目文件

二、安装python依赖

三、合并模型文件

1.以Chinese-Mistral-7B-Instruct-v0.1为例，将4个safetensors文件合并为一个模型文件

2.下载Chinese-Mistral-7B-Instruct-v0.1模型

2.1下载模型

2.2合并文件

2.3合并过程

四、量化模型

1.安装cmake和编译器

2.开始编译

3.量化模型

五、制作ollama使用的模型

1.创建Modelfile 文件

2.创建模型

3.运行模型

前言

使用ollama+open-webui可以轻松部署本地大模型，但是通过ollama下载的模型都是别人制作好的。我的模型部署思路是大模型为底座+lora微调，实现真正的个人大模型，后续将分享自己的lora微调经验和ollama调用lora。本文主要介绍如何在windows系统下将Safetensors 模型制作成ollama使用的自定义模型，linux系统自定义模型制作方法可直接按照官方文档执行。ollama官方文档提供了如何将GGUF，Pytorch或Safetensors 文件制作为自定义模型的方法。官方文档https://github.com/ollama/ollama/blob/main/docs/import.md

一、下载源码

1.下载ollama源码

https://github.com/ollama/ollama/tree/main

2.下载llama.cpp源码

https://github.com/ggerganov/llama.cpp

下载解压缩后，形成2个项目的文件

3.复制项目文件

3.1以ollama为主项目，用pycharm打开ollama文件夹，显示如下：

3.2将之前下载的llama.cpp项目文件夹复制到图上的llama.cpp位置。鼠标选中llm文件夹，按ctral+v即粘贴至llama.cpp文件夹。效果如下所示：

二、安装python依赖

打开终端，确保自己的路径如下所示。养成良好习惯，创建一个虚拟环境，然后再执行pip安装命令，确保不与电脑上的其他项目环境发生冲突。

pip install ./llm/llama.cpp/requirements.txt

三、合并模型文件

1.以Chinese-Mistral-7B-Instruct-v0.1为例，将4个safetensors文件合并为一个模型文件

2.下载Chinese-Mistral-7B-Instruct-v0.1模型

2.1下载模型

模型可以在https://huggingface.co/，或者huggingface镜像网站https://hf-mirror.com/，或者魔搭社区进行下载，我用魔搭社区的python脚本进行下载，下载速度直接拉满，执行前需要先运行pip install modelscope 。

from modelscope import snapshot_download

#模型存放路径
model_path = r'D:\huggingface'
#模型名字
name = 'itpossible/Chinese-Mistral-7B-Instruct-v0.1'
model_dir = snapshot_download(name, cache_dir=model_path, revision='master')

2.2合并文件

# python llm/llama.cpp/convert.py 刚才下载好的模型文件地址 --outtype f16 --outfile 保存的文件名.bin

python llm/llama.cpp/convert.py D:\huggingface\itpossible\Chinese-Mistral-7B-Instruct-v0___1 --outtype f16 --outfile D:\huggingface\itpossible\converted.bin

llama.cpp项目有变动，新下载的llama.cpp源码中已经没有convert.py这个脚本了，现在使用convert_hf_to_gguf.py脚本来进行模型的合并操作。下面是官方发布的变动说明。

![](https://i-blog.csdnimg.cn/direct/4f296e9d58204c20aabe843ce083ca5f.png)

2.3合并过程

合并后产生的文件converted.bin大小约14G

四、量化模型

1.安装cmake和编译器

接下来，需要将14G的bin文件量化为4G左右。这个步骤需要编译文件，使用cmake工具来编译。传送门——cmake安装教程。同时，还需要安装编译器，我用visual studio安装的C++编译器。传送门——vs使用教程。

验证cmake是否安装成功，下图表示安装成功。

2.开始编译

在 llm/llama.cpp文件夹下开始编译

# 进入到llm/llama.cpp目录
cd llm/llama.cpp

#创建build文件夹
mkdir build

#进入build
cd build

# 构建
cmake ..
cmake --build . --config Release

编译过程需要一些，耐心等待一下。编译后生成的quantization.exe就是我们需要用到的工具。

3.量化模型

# bin/Release/quantize.exe 之前合并的14G大小文件.bin 量化后的文件.bin 量化大小
bin/Release/quantize.exe D:\huggingface\itpossible\converted.bin D:\huggingface\itpossible\quantized.bin q4_0

官方文档提供了多种量化格式，常用的就是q4_0。

量化过程如下：

压缩量化完成后，生成一个新的文件quantized.bin，大约4G。之前14G的源文件可以删除了。

五、制作ollama使用的模型

需要将quantized.bin文件制作为ollama可以使用的模型

1.创建`Modelfile` 文件

创建一个test.Modelfile 文件，添加的内容如下

FROM D:\huggingface\itpossible\quantized.bin
TEMPLATE "[INST] {{ .Prompt }} [/INST]"

2.创建模型

2.1指定生成的模型路径

设置模型文件保存位置，打开系统环境变量配置，添加一个环境变量OLLAMA_MODELS=D:\huggingface\ollama（自己指定任意一个文件夹路径），然后点确定。

2.2打开一个CMD终端

# ollama create 模型名字 -f Modelfile文件路径
ollama create panda -f C:\Users\Administrator\Desktop\ollama\test.Modelfile

2.3创建过程

2.4生成的模型

3.运行模型

ollama run panda

零基础入门AI大模型

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】