【内网Tesla T4_16G为例】超详细部署安装ollama、加载uugf格式大模型qwen2、chatglm3及大模型的使用

前言

1. 因为是内网环境，所以文章中的安装过程，不贴实际安装过程的图片。

2. 因为是内网环境，所以所有的安装包都是先外网下载好，拷贝到内网执行的。下面所有安装包都是如此，不再赘述

3. 该服务器除系统盘60G之外，还有一个扩展盘100G，我们可以理解为windows电脑的D盘，我的所有安装包都会装在该盘，如果你只有一个盘，可以新建一个文件夹安装，不建议安装在系统盘的其他文件夹中

安装ollama

刚开始的时候没有太注意安装的方式，直接把ollama安装到了系统盘，这样会导致系统盘会大量被占用，所以下面的安装之前会先卸载原来安装的ollama，然后再安装。

卸载ollama

（1）停止并禁用服务

sudo systemctl stop ollama
sudo systemctl disable ollama

（2）删除服务文件和Ollama二进制文件

sudo rm /etc/systemd/system/ollama.service 
sudo rm $(which ollama)

（3）清理Ollama用户和组

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

开始安装ollama

（1）先下载到本地
我当时下的版本是v0.2.0的ollama-linux-amd64 (这本身就是一个可执行文件，可以直接使用)
，下载地址在这里https://github.com/ollama/ollama/releases，根据自己的处理器下载。将其拷贝到内网的某个目录，拷贝到内网机器就不说了，就是U盘。
（2）创建非系统盘的安装目录和模型存储目录

• 选择一个合适的非系统盘路径，例如 /data/software/ollama，并在该路径下创建所需目录.

# 用于存放ollama-linux-amd64文件
mkdir -p /data/software/ollama/bin
# 用于存放执行的模型
mkdir -p /data/software/ollama/models/ollama
# 用于存放用户
mkdir -p /data/software/ollama/ollama_u

（3） 复制 olla