本地部署deepseek-r1:7b模型
该篇文章能够让你学会本地使用Ollama
搭建deepseek-r1:7b
模型,从中你会了解ollama
简单操作命令,通过该模型写出一个简单的JavaScript
交互示例,了解该模型的性能消耗和硬件配置要求,最后将本地deepseek-r1:7b
模型部署到Chatbox AI
客户端应用中,以及为了照顾小白还有deepseek API KEY
的配置运用场景,能够让你0基础搭建一个属于自己的AI模型。
文章目录
准备工作
-
下载
Ollama
Ollama
是一款跨平台的大模型管理客户端(MacOS、Windows、Linux),所以即便您使用的是Win10/Win11
操作系统,也可以按照下面的方式去实现本地化部署。 -
设备:要求内存
16G以上
,C盘空间大于15G
,最好Win10以上
。
下载并安装ollama
-
客户端下载
-
客户端安装
双击打开
Ollama
,等待安装完成。 -
查看
ollama
版本号输入
ollama -v
这里表示安装的
ollama
客户端版本号为0.5.7
,能够查阅版本号即表示安装成功。同时,在Win桌面右下角的
系统托盘
会出现Ollama
的图标。
安装deepseek-r1:7b
模型
-
在
ollama
官网查看deepseek-r1:7b
模型为4.7G
。 -
在本地运行
ollama run deepseek-r1:7b
,等待模型下载完成。 -
可以看到,模型下载的进度。
这一步需要耐心等待。
-
安装完成后,我们对它发送一条消息进行测试。
-
我们再给点强度。看看效果:
-
看看性能面板:
可以看到,我的配置相对7b来说是吃力的,但是这纯属个人爱好测试,在实际运用中,我们肯定会采用合适的配置来运行它。
日常使用指南
以下操作均是在命令行中执行,按住 Win + R
键,输入 cmd
并回车。
-
启动模型
- 在命令行窗口中输入
ollama run deepseek-r1:7b
并回车。
- 在命令行窗口中输入
-
删除模型
- 在命令行窗口中输入
ollama rm deepseek-r1:7b
并回车。
- 在命令行窗口中输入
-
查看模型列表
- 在命令行窗口中输入
ollama list
并回车。
- 在命令行窗口中输入
-
清空上下文
- 在命令行窗口中输入
/clear
并回车。
- 在命令行窗口中输入
-
退出模型
- 在命令行窗口中输入
/bye
并回车。
- 在命令行窗口中输入
-
查看所有命令
- 在命令行窗口中输入
ollama
并回车。
- 在命令行窗口中输入
-
图示
注意事项
-
硬件要求:
- 1.5b 版本:最低 8GB 内存
- 7b 版本:建议 16GB 以上内存
- 14b 版本:建议 32GB 以上内存
-
存储空间:
- 请确保有足够的硬盘空间(模型文件较大)
- 1.5b 约需 3GB
- 7b 约需 15GB
- 14b 约需 30GB
-
使用建议:
- 首次使用建议从小模型开始尝试
- 确保网络稳定,避免下载中断
- 使用时保持电脑有足够的可用内存
JavaScript 调用代码示例
以下代码以实现为目的的简单示例:
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>deepseek测试demo</title>
<style>
* {
margin: 0;
padding: 0;
box-sizing: border-box;
}
.container {
margin: 0 20%;
width: 60%;
height: 100vh;
display: flex;
flex-direction: column;
justify-content: center;
align-items: center;
}
#write-box {
width: 100%;
height: 200px;
padding: 10px;
}
#send-btn {
width: 100%;
height: 30px;
margin-top: 10px;
}
#content {
width: 100%;
height: 200px;
padding: 10px;
font-size: 12px;
color: black;
text-align: left;
}
</style>
</head>
<body>
<div class="container">
<textarea id="write-box"></textarea>
<button id="send-btn">发送</button>
<div id="content"></div>
</div>
<button>
</button>
<script>
async function chatWithModel(prompt) {
const url = "http://localhost:11434/api/chat";
const data = {
model: "deepseek-r1:7b",
messages: [
{
role: "user",
content: prompt,
},
],
stream: false,
};
const response = await fetch(url, {
method: "POST",
headers: {
"Content-Type": "application/json",
},
body: JSON.stringify(data),
});
return await response.json();
}
const sendBtn = document.getElementById("send-btn");
const writeBox = document.getElementById("write-box");
const content = document.getElementById("content");
sendBtn.addEventListener("click", async () => {
const prompt = writeBox.value;
const response = await chatWithModel(prompt);
content.innerHTML = response.message.content;
});
</script>
</body>
</html>
-
图示
-
常见问题
-
API无法链接:检查
Ollama
服务是否正常运行,默认端口11434
是否被占用。 -
流式响应:将
stream
参数设置为true
,并相应调整代码以处理流式数据。 -
请求超时:在请求时添加适当的超时设置,避免长时间等待。
-
-
性能方面
图中红色框选部分则是大模型思考时吃性能的峰值。
Chatbox AI 部署
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
为了能够更好的结合我们方才本地部署的Ollama - DeepSeek-r:7b
模型,我们需要将其部署到Chatbox AI
中。
-
下载
Chatbox AI
-
配置模型
-
打开
Chatbox AI
应用,选择使用本地模型Use My Own API Key / Local Model
。 -
创建新的会话。
-
编辑当前会话,设置模型。
两个入口其一。 -
填写参数。
名字任意,能让自己识别即可,点击保存。
-
-
测试
同样,在
Chatbox AI
中使用我们本地部署的Ollama - DeepSeek-r:7b
模型,也会消耗性能。 -
设置中文
使用DeepSeek官方API KEY集成到Chatbox AI中
-
申请DeepSeek官方API KEY,deepseek开放平台。
生成的API KEY请复制黏贴个人保存好。 -
配置模型
-
设置模型
-
新建一个对话模型,并选择方才
DeepSeek-R1官方API KEY
模型。注意:如果配置错误或者用量不足,Chatbox AI会提示:
连接 DeepSeek API 失败。这通常是由于配置错误或 DeepSeek API 账户问题。请检查您的设置并验证您的 DeepSeek API 账户状态。 API Error: Status Code 402, {"error":{"message":"Insufficient Balance","type":"unknown_error","param":null,"code":"invalid_request_error"}}
-
🎉🎉🎉 以上就是本地部署deepseek-r1:7b模型的全过程,恭喜你又掌握了一项新技能!!