modelscope下载gguf格式模型

modelscope下载gguf格式模型
ollama加载模型

模型地址
https://www.modelscope.cn/models/okwinds/CompassJudger-1-7B-Instruct-GGUF-V3-LOT

pip install modelscope
modelscope download --model=okwinds/CompassJudger-1-7B-Instruct-GGUF-V3-LOT --include "CompassJudger-1-7B-It-Q4_K_M-LOT.gguf" --local_dir .

vi ModelFile
/path/to/CompassJudger-1-7B-It-Q4_K_M-LOT.gguf
:wq

ollama create cj-1-7b-q4 --file ./ModelFile

Ollama Modelfile官方文档(最新)