Windows系统快速本地部署deepseek（详细教程）

以下是本地部署DeepSeek模型的详细步骤（以Windows系统为例）：

一、环境准备

1. 安装Python 3.8+

   • 官网下载安装包：https://www.python.org/downloads/
   • 安装时勾选"Add Python to PATH"

2. 安装CUDA驱动（仅限NVIDIA显卡用户）

   • 打开NVIDIA控制面板 → 系统信息 → 查看支持的CUDA版本
   • 到官网下载对应版本：https://developer.nvidia.com/cuda-toolkit

二、依赖安装

1. 创建虚拟环境（CMD执行）：

python -m venv deepseek_env
deepseek_env\Scripts\activate

2. 安装基础依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  # GPU版本
# 或 pip install torch torchvision torchaudio  # CPU版本
pip install transformers sentencepiece accelerate

三、模型下载

1. Hugging Face下载（需注册账号）：

git lfs install
git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat

2. （备选）国内镜像下载：
   • 访问：https://www.modelscope.cn/models
   • 搜索"deepseek"选择合适模型

四、运行推理

创建demo.py文件：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_path = "deepseek-llm-7b-chat"  # 修改为实际路径
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto")

input_text = "帮我写个Python排序函数"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

五、启动程序

python demo.py

常见问题处理

1. 显存不足：

   • 添加参数：load_in_8bit=True（需安装bitsandbytes）
   • 或使用device_map="cpu"进行CPU推理

2. 下载中断：

   git lfs fetch --all
   git lfs checkout
   

3. 依赖冲突：

   pip install --force-reinstall [包名称]
   

注意事项：

1. 7B模型需要至少16GB内存（GPU版需8GB显存）
2. 首次运行会自动下载分词器文件（约5分钟）
3. 建议使用VSCode等IDE便于调试

如需更简化方案，可尝试使用Ollama等工具一键部署：

curl https://ollama.ai/install.sh | sh
ollama run deepseek-chat