鹿鸣天涯

一是新版本代码能力显著提升，接近Claude 3.7水平。中国人工智能初创公司深度求索（DeepSeek）2025年3月24日深夜低调上线了DeepSeek-V3的新版本DeepSeek-V3-0324，参数量为6850亿，在代码、数学、推理等多个方面的能力再次显著提升，甚至代码能力追平美国Anthropic公司大模型Claude 3.7。对于DeepSeek-V3-0324的关注并不仅仅因为该版本的能力提升，而是猜测它的发布是否意味着DeepSeek更新一代的V4与R2大模型的发布不远了。

3、攻击者可利用Ollama框架历史漏洞（CVE-2024-39720/39722/39719/39721），直接调用模型接口实施数据投毒、参数窃取、恶意文件上传及关键组件删除等操作，造成模型服务的核心数据、算法完整性和运行稳定性面临安全风险。2、数据泄露：通过特定接口可访问并提取模型数据，引发数据泄露风险。1、未授权访问：未授权用户能够随意访问模型，并利用特定工具直接对模型及其数据进行操作，攻击者无需认证即可调用模型服务、获取模型信息，甚至通过恶意指令删除模型文件或窃取数据。

近年来，大型语言模型（LLM）的快速发展为企业数字化带来了前所未有的机遇。然而，中小企业在使用诸如 GPT-4 这类云端大模型服务时，往往面临数据隐私、使用成本和网络依赖等方面的挑战。本地化部署大型模型成为一种趋势：将模型部署在企业自己的服务器上，数据不出内网，既保证了敏感信息的安全，又能根据企业需求对模型进行定制优化。是一款备受关注的开源大语言模型，参数规模高达 700 亿。作为DeepSeek系列的高性能版本，它在多个基准测试中表现出色。

通过上述步骤，你可以在本地成功部署DeepSeek模型，并通过Ollama或Open Web UI与模型进行交互。如果你在部署过程中遇到任何问题，可以在评论区留言，我们将一起解决。DeepSeek作为一款开源且性能强大的大语言模型，提供了灵活的本地部署方案，让用户能够在本地环境中高效运行模型，同时保护数据隐私。安装完成后，访问 http://localhost:3000，选择deepseek-r1:latest模型即可开始使用。模型下载超时：如果在下载模型时出现超时问题，可以尝试重新运行下载命令。

Dify 是 LLM 应用开发平台，不完全是可视化界面，可以快速构建 LLM 应用（RAG、AI 代理等），提供 API，可用于应用集成，支持 MongoDB、PostgreSQL 存储 LLM 相关数据， AI SaaS、应用开发，需要构建智能客服、RAG 应用等，类似的工具也有 AnythingLLM 可根据用户偏好进行选择使用。完整版性能强大，但需要极高的硬件配置；deepseek-r1:7b-qwen-distill-q4_K_M：7B 模型的蒸馏+量化版本，显存需求从 5GB 降至 3GB。

DeepSeek R1 是一款开源的AI模型，它与 OpenAI 的 o1 和 Claude 3.5 Sonnet 等顶级模型竞争，特别是在数学、编程和推理等任务上表现出色。它是免费的、私密的，并且支持在本地硬件上离线运行。DeepSeek R1 提供了多个版本，涵盖从轻量级的1.5B参数模型到功能强大的70B参数版本。从技术角度来看，它基于 Qwen 7B 架构，经过精简和优化，确保在保持强大性能的同时，提升了运行效率。

目前最新的 DeepSeek-R1 提供了多个蒸馏后的参数模型，包括有：1.5b、7b、8b、14b、32b、70b，以及满血版 671b 大模型。以下是不同参数量模型的本地部署硬件要求和适用场景分析。注：部分数据基于模型通用需求推测，具体以实际部署测试为准。针对不同规模模型的通用硬件配置建议。

DeepSeek表示，DeepGEMM在Hopper GPU（一种英伟达GPU架构）上最高可达到1350+FP8TFLOPS（每秒万亿次浮点运算），并且像教程一样简洁，可完全即时编译，其核心逻辑只有约300行代码，且在大多数矩阵尺寸上均优于专家调优的内核，并支持密集布局和两种MoE布局。2月26日，DeepSeek进行了其开源周第三日的发布——DeepGEMM，一个支持密集和MoE（专家混合模型）GEMM（通用矩阵乘法）的FP8 （8位浮点数）GEMM库，为V3/R1训练和推理提供支持。

在 H800 GPU 上测试时，DeepEP 的内节点通信性能达到 153-158 GB/s 的 NVLink 带宽，而跨节点通信可达 43-47 GB/s 的 RDMA 带宽。它具有高效全员沟通、节点内和节点间均支持 NVLink 和 RDMA、用于训练和推理预填充的高吞吐量内核、用于推理解码的低延迟内核、原生 FP8 调度支持以及灵活的 GPU 资源控制等特点，能够实现计算 - 通信重叠。它就像是一个协调员，能够让各个专家（模型的不同部分）之间更好地配合，提高整个模型的运行效率。

2025年2月24日上午9点，DeepSeek开源了用于Hopper GPU的高效MLA解码核心FlashMLA，仅上线45分钟就收获400+ Star，火爆程度可见一斑。实际应用示例：from flash_mla import get_mla_metadata, flash_mla_with_kvcache。项目地址：https://github.com/deepseek-ai/FlashMLA。运行基准测试：python tests/test_flash_mla.py。分页KV缓存（块大小64）

DeepSeek表示，DeepGEMM在Hopper GPU（一种英伟达GPU架构）上最高可达到1350+FP8TFLOPS（每秒万亿次浮点运算），并且像教程一样简洁，可完全即时编译，其核心逻辑只有约300行代码，且在大多数矩阵尺寸上均优于专家调优的内核，并支持密集布局和两种MoE布局。2月26日，DeepSeek进行了其开源周第三日的发布——DeepGEMM，一个支持密集和MoE（专家混合模型）GEMM（通用矩阵乘法）的FP8 （8位浮点数）GEMM库，为V3/R1训练和推理提供支持。

2月25日，据外媒报道，DeepSeek计划提前发布其新一代AI模型R2。2025年1月20日，幻方量化旗下AI公司深度求索（DeepSeek）正式发布DeepSeek-R1模型，并同步开源模型权重。2月7日消息，出门问问宣布完成与DeepSeek最新推理大模型DeepSeek-R1的深度适配，并将其能力融于公司全线产品中。截至2025年1月27日，在世界大模型排名Arena上，DeepSeek-R1基准测试升至全类别大模型第三，在风格控制类模型分类中与OpenAI o1并列第一。