Ubuntu24.04docker里安装ollama

### 安装和配置Ollama的步骤 #### 1. 设置Ubuntu 24.04环境 在开始之前，确保已经安装了最新的Ubuntu 24.04操作系统。如果尚未完成，请从官方ISO文件下载并安装系统[^3]。 #### 2. 更新软件包管理器 为了确保系统的稳定性和兼容性，在执行任何操作前应更新APT缓存： ```bash sudo apt update && sudo apt upgrade -y ``` #### 3. 卸载旧版Docker（如果有） 由于Ubuntu自带的`docker.io`可能版本较低，建议先卸载旧版本后再重新安装最新版本： ```bash sudo apt remove docker docker-engine docker.io containerd runc ``` #### 4. 安装必要的依赖项 安装一些必需的工具来支持Docker的正常工作： ```bash sudo apt install curl gnupg lsb-release ca-certificates wget software-properties-common -y ``` #### 5. 添加Docker官方GPG密钥和仓库 通过以下命令添加Docker的官方GPG密钥以及其APT仓库： ```bash curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null ``` #### 6. 安装Docker引擎 再次刷新APT缓存，并选择合适的Docker版本进行安装： ```bash sudo apt update sudo apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y ``` 验证Docker是否成功安装： ```bash sudo docker version ``` #### 7. 配置NVIDIA-Docker支持（可选） 如果计划使用带有GPU加速功能的Ollama，则需额外安装NVIDIA驱动程序及其对应的Docker插件。以下是具体流程： ##### a. 安装NVIDIA驱动 访问[NVIDIA官方网站](https://www.nvidia.com/)查找适用于当前硬件的最佳驱动版本，并按照提示完成安装过程。 ##### b. 安装nvidia-container-toolkit 此工具允许容器内部识别主机上的CUDA设备： ```bash distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-docker2 sudo systemctl restart docker ``` 测试NVIDIA-Docker集成效果： ```bash docker run --rm --gpus all nvidia/cuda:12.0-base nvidia-smi ``` #### 8. 下载并启动Ollama镜像 拉取官方发布的Ollama镜像至本地存储区： ```bash sudo docker pull ollama/ollama ``` 创建一个新的容器实例运行该应用服务： ```bash sudo docker run -p 11434:11434 -v ollama:/root/.cache/ollama ollama/ollama serve ``` 此时可以通过浏览器或者CLI客户端连接到http://localhost:11434接口与模型交互[^1]。 #### 9. 使用Compose简化部署（推荐方法） 编写一个简单的YAML定义文档用于自动化整个构建环节： ```yaml version: '3' services: ollama: image: ollama/ollama ports: - "11434:11434" volumes: - ollama_data:/root/.cache/ollama volumes: ollama_data: ``` 保存为`docker-compose.yml`之后只需一条指令即可快速搭建完毕： ```bash docker compose up -d ``` --- ### 注意事项 对于某些特定场景下的需求调整，比如更换国内源地址加快网络传输速度等细节处理可以参照相关资料进一步优化性能表现[^2]。