1.前言
这个假期,DeepSeek得爆火可谓震惊整个世界,也打破我对AI也只是一个简单辅助工具得认知。它得思维链得推理模型可以说让任何小白都能轻松上手,不需要像以前得AI模型需要一定的提示工程知识基础,思考提示词。他会根据你提供的问题,尽量分析你的意图,通过多维度推理最终提供给你想要的答案。不仅结果更加准确,就连推到过程都很值得我们学习。
他居然真的想教会我怎么解质数!😄
不过,你是否还在因为使用deepseek经常服务器繁忙而苦恼?那么我们今天就亲手本地部署一个deepseek。来解决官网时常崩溃得问题。
当前deepseek模型总共有一下模型,对应模型以及需要的资源大致如下:
模型 |
模型大小 |
需要显存大小 |
备注 |
1.5b |
1.1G |
4G | |
7b |
4.7G |
8G | |
8b |
4.9G |
12G | |
14b |
9G |
24G | |
32b |
20G |
50G | |
70b |
43G |
120G | |
671b |
404G |
未知 |
官网使用模型 |
大家先根据自己得设备显存大小,决定使用哪个模型。建议模型使用14b以上,效果会好很多,其他得不建议使用本地部署。
2.本地安装
2.1.Ollama介绍
Ollama 是一个专注于本地化运行大型语言模型(LLMs)的工具,可以让用户能够在自己的设备上高效、便捷地部署和使用 AI 模型。
特点如下:
-
本地化运行:Ollama 支持在本地设备(如个人电脑、服务器)上运行大型语言模型,无需依赖云端服务,保障数据隐私和安全。
-
轻量化设计:通过优化模型加载和推理过程,降低资源占用,使其能够在普通硬件上运行。
-
多平台支持:兼容多种操作系统(如 Windows、macOS、Linux),方便用户在不同环境中使用。
-
简单易用:提供直观的命令行工具和 API,用户可以快速部署和调用模型。
2.2.安装Ollama
1.下载ollama
访问https://ollama.com/,点击下载
根据自己得操作系统,选择对应的版本进行下载
2.安装ollama
双击下载好的的文件,点击install进行安装
3.新增环境变量
新增环境变量OLLAMA_MODELS,用来放置下载的模型,不设置的话会放在C盘,导致C盘过大。
4.运行ollama
安装好之后,开始菜单中会图标,双击运行
5.选择模型
根据自己的配置选择合适的模型,点击复制命令按钮
6.运行模型
打开cmd,粘贴刚才复制的命令
ollama run deepseek-r1:14b
如果本地有模型则会进入对话页面,如果没有则会下载对应模型
7.对话进行
如果模型下载好,则自动进入对话模式,可以通过命令行进行对话
8.安装webUI界面
如果想要使用webui页面,可以使用google插件,page Assist,安装好之后界面如下,左上角选择模型即可直接使用。
这样,你就可以在本地使用deepseek拉,再也没有任何限制。