DeepSeek 作为一款国运级别的AI大模型,其优势在于平衡了成本和性能,让中小公司,甚至个人能够落地本地私有化部署AI大模型。
本地部署的 DeepSeek 蒸馏版本,肯定不能和满血版的对比,本地部署的优势在于数据的安全性,和模型的可控。
在特定的场景下,本地部署的 DeepSeek 也足以胜任工作。
一、Ollama 介绍
Ollama 介绍只有一句话: Get up and running with large language models。
获得和运行大语言模型。
Ollama 屏蔽了运行大语言模型的复杂性,主要安装 Ollama 就能够简单快速的运行大语言模型。
Ollama 支持的大语言模型,包括但不仅限于:llama、deepseek、qwen2.5 。
更多大语言模型,可在 Ollama 官网获取。