离线部署ollam以及大模型_ollama离线部署-CSDN博客

本文详细描述了如何在没有使用Docker的情况下，在CentOS服务器上手动安装Ollama，设置服务文件，以及如何拉取并部署大模型的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我是直接安装在服务器上, 没用docker.

1 安装ollama

有网机器上下载ollama: wget https://ollama.com/download/ollama-linux-amd64 
弄到离线服务器上:/usr/bin/ollama  ollama就是你下载的ollama-linux-amd64 改名了
赋权限: sudo chmod +x /usr/bin/ollama
创建用户: sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama 
创建服务文件: /etc/systemd/system/ollama.service, 内容如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

这里要注意Environment这个参数官网没有, 这个是配置其他机器访问的.

重新加载: sudo systemctl daemon-reload\

开机启动: sudo systemctl enable ollama

启动: systemctl start ollama

到这里是参考官方文档: https://github.com/ollama/ollama/blob/main/docs/linux.md .

2 安装大模型

还是在有网的机器(这个机器已经安装ollama), 拉取大模型: ollama pull llama3:8b

大模型存储在: /usr/share/ollama/.ollama

把整个.ollama弄到离线服务器同一个目录下.

查看是否识别到大模型: ollama list, 如果成功, 则会看到大模型

到此centos 直接部署ollama以及大模型全部介绍完毕