环境准备
-
操作系统:
-
支持 macOS、Linux(推荐 Ubuntu/Debian)或 Windows(需 WSL2)。
-
确保系统已安装最新驱动和依赖库。
-
硬件要求:
-
CPU:建议至少 4 核以上。
-
内存:16GB+(7B 模型需 8GB+,13B 模型需 16GB+)。
-
GPU(可选):NVIDIA GPU(支持 CUDA)或 AMD GPU(支持 ROCm)可显著加速推理。
-
依赖安装:
-
安装 Docker(可选,用于容器化部署)。
-
确保已安装 curl、wget 等基础工具。
步骤 1:安装 Ollama
Ollama下载地址 Ollama、docker、chatbox、Cherry