DeepSeek

一、DeepSeek 背景简介 

• DeepSeek 是一家中国 AI 创企，成立于 2023 年，发布了一系列开源的、大规模且低成本的语言模型(techtarget.com, theguardian.com)。

• 自 2023 年底发布首个基础版本以来，DeepSeek 快速迭代，已成为全球开源 LLM（大语言模型）中的领军者。

二、DeepSeek 各版本模型进化

1. DeepSeek‑LLM & DeepSeek‑Coder（2023）

• 参数规模：7B 或 67B

• 架构：标准 decoder‑only Transformer，具备多语言与编程能力

• 上下文窗口：4K tokens，适合一般通用任务和代码生成任务(維基百科)。

2. DeepSeek‑V2（2024 年 5 月）

• 参数总量：236B，启用专家子模型（MoE）时仅激活 21B

• 特性：支持高达 128K tokens 上下文窗口；采用 Multi‑head Latent Attention (MLA) 和 DeepSeekMoE 架构，显著降低训练与推理成本(arxiv.org)。

3. DeepSeek‑V3（2024 年 12 月）

• 参数规模：671B，总共享大模型；每 token 激活约 37B 参数

• 新特性：MLA、Mixture-of-Experts 架构、FP8 混合精度、Multi‑Token Prediction（MTP）训练方式

• 上下文能力升级至 128K tokens，极大适配长文理解任务(arxiv.org)。

4. DeepSeek‑R1 系列（2025 年 1 月）

• 基于 V3 架构，专注推理与“链式思维”生成任务

• 强调纯 强化学习训练流程，包括 R1-Zero（无监督 RL 起点）和后续强化后的 R1 模型

• 在数学推理、代码生成、问答等领域，性能媲美 OpenAI 的 state-of-the-art o1 模型(arxiv.org, theguardian.com)。

三、创新技术亮点

1. Mixture-of-Experts（MoE）架构

• 极大参数量但 sparsed 激活：节省计算资源与成本

• 在 V3/V2 中，模型可以仅活跃部分专家实现高效推理(Reddit)。

2. Multi-Head Latent Attention（MLA）

• 用隐变量压缩 KV 缓存，通过 latent attention 保存大上下文能力

• 降低模型推理复杂度同时保留性能(arxiv.org)。

3. Multi-Token Prediction（MTP）任务设计

• 可同时预测多个连续 token，提高生成效率

• 支持 speculative decoding，加速推理响应(Reddit)。

4. 极长上下文支持（上下文窗口 128K tokens）

• 适合法律文档、长篇论文、对话历史等长文场景

• 在长文本任务中表现远超常见 4K-8K 模型。

5. 低成本高效训练

• DeepSeek‑V3 的完整训练耗时仅约 2.788M GPU 小时，成本远低于同规模其他模型(arxiv.org)。

四、优点总结

五、总结归纳

DeepSeek 系列作为指标性开源大语言模型，其融合 MoE 架构、MLA、MTP 与超长上下文支持等多个创新技术，为长文本与复杂推理场景提供高效解决方案。它的低成本训练模式与开放策略，对 AI 社区特别是研究与创新者而言具有重大意义。