保姆级本地部署DeepSeek教程

1.前言

这个假期,DeepSeek得爆火可谓震惊整个世界,也打破我对AI也只是一个简单辅助工具得认知。它得思维链得推理模型可以说让任何小白都能轻松上手,不需要像以前得AI模型需要一定的提示工程知识基础,思考提示词。他会根据你提供的问题,尽量分析你的意图,通过多维度推理最终提供给你想要的答案。不仅结果更加准确,就连推到过程都很值得我们学习。

他居然真的想教会我怎么解质数!😄

不过,你是否还在因为使用deepseek经常服务器繁忙而苦恼?那么我们今天就亲手本地部署一个deepseek。来解决官网时常崩溃得问题。

当前deepseek模型总共有一下模型,对应模型以及需要的资源大致如下:

模型

模型大小

需要显存大小

备注

1.5b

1.1G

4G

7b

4.7G

8G

8b

4.9G

12G

14b

9G

24G

32b

20G

50G

70b

43G

120G

671b

404G

未知

官网使用模型

大家先根据自己得设备显存大小,决定使用哪个模型。建议模型使用14b以上,效果会好很多,其他得不建议使用本地部署。

2.本地安装

2.1.Ollama介绍

Ollama 是一个专注于本地化运行大型语言模型(LLMs)的工具,可以让用户能够在自己的设备上高效、便捷地部署和使用 AI 模型。

特点如下:

  • 本地化运行:Ollama 支持在本地设备(如个人电脑、服务器)上运行大型语言模型,无需依赖云端服务,保障数据隐私和安全。

  • 轻量化设计:通过优化模型加载和推理过程,降低资源占用,使其能够在普通硬件上运行。

  • 多平台支持:兼容多种操作系统(如 Windows、macOS、Linux),方便用户在不同环境中使用。

  • 简单易用:提供直观的命令行工具和 API,用户可以快速部署和调用模型。

2.2.安装Ollama

1.下载ollama

访问https://ollama.com/,点击下载

根据自己得操作系统,选择对应的版本进行下载

2.安装ollama

双击下载好的的文件,点击install进行安装

3.新增环境变量

新增环境变量OLLAMA_MODELS,用来放置下载的模型,不设置的话会放在C盘,导致C盘过大。

4.运行ollama

安装好之后,开始菜单中会图标,双击运行

5.选择模型

根据自己的配置选择合适的模型,点击复制命令按钮

6.运行模型

打开cmd,粘贴刚才复制的命令

ollama run deepseek-r1:14b

如果本地有模型则会进入对话页面,如果没有则会下载对应模型

7.对话进行

如果模型下载好,则自动进入对话模式,可以通过命令行进行对话

8.安装webUI界面

如果想要使用webui页面,可以使用google插件,page Assist,安装好之后界面如下,左上角选择模型即可直接使用。

这样,你就可以在本地使用deepseek拉,再也没有任何限制。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王老狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值