DeepSeek-Ollama实现本地化无烦恼

DeepSeek 很火爆，网页总会出现“系统繁忙”，除了去不同的平台入口寻求额外帮助，还可以本地化部署，独享性能。

我们需要用到：

• Ollama: 启动并运行大型语言模型。star 125K
• Open WebUI: 一个可扩展、功能丰富且用户友好的自托管 AI 平台，旨在完全离线运行。它支持各种 LLM 运行器，如 Ollama 和 OpenAI 兼容的 API，并内置了 RAG 推理引擎，使其成为强大的 AI 部署解决方案。star 72.4k
• DeepSeek r1: 在数学、代码和推理任务方面的性能可与 OpenAI-o1 相媲美。star 72.3k
• DeepSeek v3: 这是一个强大的专家混合 （MoE） 语言模型，总共有 671B 个参数，每个令牌激活了 37B。star 82.8k

目录概览：

• 如何选择 deepseek-r1和deepseek-v3
• 如何部署
  • 下载安装 Ollama
    • 快速安装Ollama
    • 运行指令
  • 拉取模型验证
  • 下载安装 Open Web UI
    • 如何安装
  • 尝试页面使用

如何选择 deepseek-r1和deepseek-v3

1. 模型架构

   DeepSeek-R1：

• 可能是早期版本或基础版本。

• 使用较为传统的神经网络架构（如 RNN、LSTM 或早期的 Transformer）。

• 在性能和功能上可能较为基础。

  DeepSeek-V3：

• 可能是最新版本或优化版本。

• 使用更先进的架构（如 Transformer 的变体、BERT、GPT 等）。

• 在性能、准确性和功能上有显著提升。

2. 训练数据

   DeepSeek-R1：

• 可能使用了较小规模或较早期的训练数据集。

• 数据覆盖范围可能有限。

  DeepSeek-V3：

• 使用了更大规模、更多样化的训练数据。

• 数据更新至最新，覆盖更多领域和语言。

3. 性能优化

   DeepSeek-R1：

• 可能在推理速度、内存占用等方面未经过深度优化。

• 适合轻量级任务或资源有限的环境。

  DeepSeek-V3：

• 经过深度优化，推理速度更快，资源占用更低。

• 支持更复杂的任务和更大的规模。

4. 功能特性

   DeepSeek-R1：

• 功能较为基础，可能仅支持简单的文本生成、分类等任务。

• 缺乏对多模态（如图像、音频）的支持。

  DeepSeek-V3：

• 功能更丰富，支持多模态任务（如文本生成、图像理解、语音识别等）。

• 支持更复杂的交互逻辑（如上下文管理、多轮对话）。

5. 应用场景

   DeepSeek-R1：

• 适合简单的应用场景，如基础聊天机器人、文本分类等。

• 适合资源有限的环境（如嵌入式设备、移动端）。

  DeepSeek-V3：

• 适合复杂的应用场景，如智能客服、内容创作、多模态交互等。

• 适合高性能需求的环境（如云端服务、大规模部署）。

如何部署

下载安装 Ollama

快速安装Ollama

1. visit https://ollama.com/download

2. Download for MacOS(Requires macOS 11 Big Sur or later)
   download and install it.

3. after finished that, do it to check the version:

$ ollama -v
Warning: could not connect to a running Ollama instance
Warning: client version is 0.5.7

运行指令

1. 以服务的形式启动一个后台服务，指定具体的端口，同时也可以指定具体加载的模型

ollama serve --port 12345

2025/02/11 16:51:50 routes.go:1187: INFO server config env="map[HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:/Users/chenzy/.ollama/models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false http_proxy: https_proxy: no_proxy:]"
time=2025-02-11T16:51:50.635+08:00 level=INFO source=images.go:432 msg="total blobs: 5"
time=2025-02-11T16:51:50.636+08:00 level=INFO source=images.go:439 msg="total unused blobs removed: 0"
[GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already attached.

[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.
 - using env:	export GIN_MODE=release
 - using code:	gin.SetMode(gin.ReleaseMode)

[GIN-debug] POST   /api/pull                 --> github.com/ollama/ollama/server.(*Server).PullHandler-fm (5 handlers)
[GIN-debug] POST   /api/generate             --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (5 handlers)
[GIN-debug] POST   /api/chat                 --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (5 handlers)
[GIN-debug] POST   /api/embed                --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (5 handlers)
[GIN-debug] POST   /api/embeddings           --> github.com/ollama/ollama/server.(*Server).EmbeddingsHandler-fm (5 handlers)
[GIN-debug] POST   /api/create               --> github.com/ollama/ollama/server.(*Server).CreateHandler-fm (5 handlers)
[GIN-debug] POST   /api/push                 --> github.com/ollama/ollama/server.(*Server).PushHandler-fm (5 handlers)
[GIN-debug] POST   /api/copy                 --> github.com/ollama/ollama/server.(*Server).CopyHandler-fm (5 handlers)
[GIN-debug] DELETE /api/delete               --> github.com/ollama/ollama/server.(*Server).DeleteHandler-fm (5 handlers)
[GIN-debug] POST   /api/show                 --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (5 handlers)