ubuntu上使用ollama调用gpu
时间: 2025-02-10 21:04:56 浏览: 740
### 配置 Ollama 使用 GPU 加速
为了使 Ubuntu 上的 Ollama 服务能够充分利用 N 卡 GPU 进行加速,需按照特定流程完成必要的软件栈部署。
#### 安装 NVIDIA 容器工具
确保已安装最新版本的 Docker 后,通过官方渠道获取并安装 NVIDIA 容器运行时环境以及相关驱动程序[^1]。这一步骤对于让容器识别宿主机上的 GPU 设备至关重要。
```bash
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
```
#### 创建 `docker-compose.yml` 文件支持 GPU
编辑或创建一个新的 `docker-compose.yml` 文件,在其中定义服务的同时指定使用 GPU 资源的方式:
```yaml
version: '3'
services:
ollama_service:
image: your_ollama_image_name
deploy:
resources:
reservations:
devices:
- NVIDIA_VISIBLE_DEVICES=all
- NVIDIA_DRIVER_CAPABILITIES=compute,utility
runtime: nvidia
```
上述 YAML 片段中的关键部分在于设置 `runtime: nvidia` 和指定了 GPU 的资源预留策略,从而允许容器内的应用程序访问到物理 GPU 并调用其计算能力。
#### 测试 GPU 支持情况
启动由 Compose 编排的服务之后,可以通过进入正在运行的容器内部执行命令来验证是否成功启用了 GPU 功能:
```bash
docker exec -it <container_id> nvidia-smi
```
如果一切正常,则会显示有关当前系统中可用 GPU 的信息列表及其工作状态。
阅读全文
相关推荐


















