本地部署deepseek-r1:7b模型

本地部署deepseek-r1:7b模型

该篇文章能够让你学会本地使用Ollama搭建deepseek-r1:7b模型,从中你会了解ollama简单操作命令,通过该模型写出一个简单的JavaScript交互示例,了解该模型的性能消耗和硬件配置要求,最后将本地deepseek-r1:7b模型部署到Chatbox AI客户端应用中,以及为了照顾小白还有deepseek API KEY的配置运用场景,能够让你0基础搭建一个属于自己的AI模型。

准备工作

  1. 下载Ollama

    Ollama 是一款跨平台的大模型管理客户端(MacOS、Windows、Linux),所以即便您使用的是Win10/Win11操作系统,也可以按照下面的方式去实现本地化部署

    在这里插入图片描述

  2. 设备:要求内存16G以上,C盘空间大于15G,最好Win10以上

下载并安装ollama

  • 客户端下载

    ollama下载地址

  • 客户端安装

    双击打开Ollama,等待安装完成。

    在这里插入图片描述

  • 查看ollama版本号

    输入 ollama -v

    在这里插入图片描述

    这里表示安装的ollama客户端版本号为0.5.7,能够查阅版本号即表示安装成功。

    同时,在Win桌面右下角的系统托盘会出现Ollama的图标。

    在这里插入图片描述

安装deepseek-r1:7b模型

  • ollama官网查看deepseek-r1:7b模型为4.7G

    在这里插入图片描述

  • 在本地运行ollama run deepseek-r1:7b,等待模型下载完成。

    在这里插入图片描述

  • 可以看到,模型下载的进度。

    在这里插入图片描述

    这一步需要耐心等待。

  • 安装完成后,我们对它发送一条消息进行测试。

    在这里插入图片描述

  • 我们再给点强度。看看效果:

    在这里插入图片描述

  • 看看性能面板:

    在这里插入图片描述

    可以看到,我的配置相对7b来说是吃力的,但是这纯属个人爱好测试,在实际运用中,我们肯定会采用合适的配置来运行它。

日常使用指南

以下操作均是在命令行中执行,按住 Win + R 键,输入 cmd 并回车。

  • 启动模型

    • 在命令行窗口中输入 ollama run deepseek-r1:7b 并回车。
  • 删除模型

    • 在命令行窗口中输入 ollama rm deepseek-r1:7b 并回车。
  • 查看模型列表

    • 在命令行窗口中输入 ollama list 并回车。
  • 清空上下文

    • 在命令行窗口中输入 /clear 并回车。
  • 退出模型

    • 在命令行窗口中输入 /bye 并回车。
  • 查看所有命令

    • 在命令行窗口中输入 ollama 并回车。
  • 图示

    在这里插入图片描述

    在这里插入图片描述

注意事项

  • 硬件要求:

    • 1.5b 版本:最低 8GB 内存
    • 7b 版本:建议 16GB 以上内存
    • 14b 版本:建议 32GB 以上内存
  • 存储空间:

    • 请确保有足够的硬盘空间(模型文件较大)
    • 1.5b 约需 3GB
    • 7b 约需 15GB
    • 14b 约需 30GB
  • 使用建议:

    • 首次使用建议从小模型开始尝试
    • 确保网络稳定,避免下载中断
    • 使用时保持电脑有足够的可用内存

JavaScript 调用代码示例

以下代码以实现为目的的简单示例:

<!DOCTYPE html>
<html lang="en">

<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>deepseek测试demo</title>
    <style>
        * {
            margin: 0;
            padding: 0;
            box-sizing: border-box;
        }
        .container {
            margin: 0 20%;
            width: 60%;
            height: 100vh;
            display: flex;
            flex-direction: column;
            justify-content: center;
            align-items: center;
        }
        #write-box {
            width: 100%;
            height: 200px;
            padding: 10px;
        }
        #send-btn {
            width: 100%;
            height: 30px;
            margin-top: 10px;
        }

        #content {
            width: 100%;
            height: 200px;
            padding: 10px;
            font-size: 12px;
            color: black;
            text-align: left;
        }

    </style>
</head>

<body>
    <div class="container">
        <textarea id="write-box"></textarea>
        <button id="send-btn">发送</button>
        <div id="content"></div>
    </div>
    <button>

    </button>
    <script>
        async function chatWithModel(prompt) {
            const url = "http://localhost:11434/api/chat";
            const data = {
                model: "deepseek-r1:7b",
                messages: [
                    {
                        role: "user",
                        content: prompt,
                    },
                ],
                stream: false,
            };

            const response = await fetch(url, {
                method: "POST",
                headers: {
                    "Content-Type": "application/json",
                },
                body: JSON.stringify(data),
            });

            return await response.json();
        }

        const sendBtn = document.getElementById("send-btn");
        const writeBox = document.getElementById("write-box");
        const content = document.getElementById("content");
        sendBtn.addEventListener("click", async () => {
            const prompt = writeBox.value;
            const response = await chatWithModel(prompt);
            content.innerHTML = response.message.content;
        });

    </script>
</body>

</html>
  • 图示

    在这里插入图片描述

  • 常见问题

    • API无法链接:检查 Ollama 服务是否正常运行,默认端口 11434 是否被占用。

    • 流式响应:将 stream 参数设置为 true,并相应调整代码以处理流式数据。

    • 请求超时:在请求时添加适当的超时设置,避免长时间等待。

  • 性能方面

    在这里插入图片描述

    图中红色框选部分则是大模型思考时吃性能的峰值。

Chatbox AI 部署

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

为了能够更好的结合我们方才本地部署的Ollama - DeepSeek-r:7b模型,我们需要将其部署到Chatbox AI中。

  1. 下载Chatbox AI

  2. 配置模型

    • 打开Chatbox AI应用,选择使用本地模型Use My Own API Key / Local Model

      在这里插入图片描述

    • 创建新的会话。

      在这里插入图片描述

    • 编辑当前会话,设置模型。

      在这里插入图片描述
      两个入口其一。

    • 填写参数。

      在这里插入图片描述

      名字任意,能让自己识别即可,点击保存。

  3. 测试

    在这里插入图片描述

    同样,在Chatbox AI中使用我们本地部署的Ollama - DeepSeek-r:7b模型,也会消耗性能。

  4. 设置中文

    在这里插入图片描述

使用DeepSeek官方API KEY集成到Chatbox AI中

  1. 申请DeepSeek官方API KEY,deepseek开放平台

    在这里插入图片描述
    生成的API KEY请复制黏贴个人保存好。

  2. 配置模型

    • 设置模型

      在这里插入图片描述

    • 新建一个对话模型,并选择方才DeepSeek-R1官方API KEY模型。

      在这里插入图片描述

      注意:如果配置错误或者用量不足,Chatbox AI会提示:

      连接 DeepSeek API 失败。这通常是由于配置错误或 DeepSeek API 账户问题。请检查您的设置并验证您的 DeepSeek API 账户状态。
      API Error: Status Code 402, {"error":{"message":"Insufficient Balance","type":"unknown_error","param":null,"code":"invalid_request_error"}}
      

🎉🎉🎉 以上就是本地部署deepseek-r1:7b模型的全过程,恭喜你又掌握了一项新技能!!

相关文档

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Vinca@

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值