本地部署DeepSeek摆脱服务器繁忙

由于图片和格式解析问题,可前往 阅读原文

最近DeepSeek简直太火了,频频霸榜热搜打破春节的平静,大模型直接开源让全球科技圈都为之震撼!再次证明了中国AI的换道超车与崛起

DeepSeek已经成了全民ai,使用量也迅速上去了,加上对面半球对ds服务器的攻击导致现在使用起来动不动就崩溃

那么如何解决这个问题呢❓

上一篇《DeepSeek搭建私有GPT》讲了结合FastGPT与OneAPI直接调用 deepseek api 来本地部署自己的gpt,一定程度上也可以缓解使用对公的gpt,但此种方式在用户调用过多时也会出现问题,毕竟算力在云端,目前官方也停止了充值,这也反映了当前问题

:::warning 小贴士
文章中涉及到的示例代码你都可以从 这里查看 ,若对你有用还望点赞支持
:::

当然DeepSeek开源了多个大模型当然也可以本地进行部署,虽然没有在线模型那么强大,但也足够使用了。相较于api调用或者公开的gpt来说,本地部署可以不需要联网、数据隐私更安全,响应更快更方便

来看怎么部署

Ollama

Ollama 是一个开源的机器学习框架,旨在简化 AI 模型的训练和部署过程,Ollama 提供了简洁的 API 和直观的命令行界面,让用户能够快速开始训练和部署模型,无需复杂的配置;是本地运行大模型的利器(对小白非常友好)

安装Ollama

Ollama支持linux、MacOS、Windows平台的安装,打开官网页面直接点击Download按钮下载会自动下载适合自己系统的安装包

安装完后打开终端,输入ollama -v正常情况下会输出版本信息:

➜ ollama -v
ollama version is 0.5.7

除此之外也支持api调用,访问http://localhost:11434/会返回Ollama is running

下载大模型

Ollama安装完毕后就可以下载大模型了,Ollama支持很多厂商的模型,可以在官网https://ollama.com/search查看

这里搜索deepseek安装deepseek-r1模型,左侧有对应的标签,默认是7b体量,读者需要根据自己机器情况安装合适的体量模型

本人机器MacOS配置如下

14b也绰绰有余,7b相对14b来说有很多噪点,这里就直接7b了

打开终端,直接输入:

ollama pull deepseek-r1:14b

是不是感觉命令和docker很像,是的Ollama的大多数命令都和docker类似,可以在终端输入ollama查看

回车后就开始拉取文件了,整体时间受模型的大小网速影响

运行模型

拉取完后就可以使用了,可以先输入以下命令输出本地所有的模型

➜ ollama list
NAME               ID              SIZE      MODIFIED
deepseek-r1:14b    ea35dfe18182    9.0 GB    3 minutes ago
deepseek-r1:7b     0a8c26691023    4.7 GB    39 hours ago
llama3.2:latest    a80c4f17acd5    2.0 GB    2 days ago

运行模型:

➜ ollama run deepseek-r1:14b
>>> Send a message (/? for help)

这里本人试下青椒炒蛋教程

除此之外也可以使用REST API进行调用,这里我们接着使用上一篇使用到的Nodejs代码:

import readline from 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值