如何本地部署DeepSeek

前言

在人工智能技术迅猛迭代的当下,大语言模型正持续拓展应用边界。近期引发技术圈热议的DeepSeek凭借其卓越的文本生成能力,
已成为开发者构建智能应用的优先选择。今天这篇文章,主要介绍在个人计算机上实现这款前沿模型的本地化部署。


1、本地部署的好处

一、数据更安全

  • 像把文件锁进自家保险箱,聊天记录、公司资料不会上传到别人服务器
  • 银行医院这类单位用着放心,不用担心客户隐私外泄
  • 就算断网也能用,野外做科研或者保密单位最需要这种

二、速度更快

  • 自己电脑跑就像家门口取快递,云端服务像跨国海运(尤其处理长文档时)
  • 中高端显卡(比如3060以上)反应速度比手机语音助手快3倍
  • 可以24小时随时用,不用排队等别人服务器的处理名额

三、更省钱

  • 买张显卡相当于"买断服务",用三年比天天付钱租云端便宜
  • 平时不用的时候显卡还能跑游戏/做设计/挖矿(虽然不推荐)
  • 不怕突然涨价,比如最近很多AI服务收费翻倍,自己部署不受影响

四、更自由

  • 能教AI说"方言"(比如把回答改成东北话版本)
  • 可以同时养多个AI,让它们分工合作(一个查资料,一个写总结)
  • 自己调整"脑回路"(比如让AI回答更严谨或更有创意)

举个栗子:就像自己在家装净水器,虽然前期要买设备,但比天天买桶装水更划算,还能随时喝到新鲜水,水质自己把控。特别是家里有老人小孩(类似企业有特殊需求)的家庭,自己装净水器更安心。

2、开始安装

  1. 进入官方网站ollma,下载地址(https://ollama.com/download)
  2. 自己下载比较慢,如果有条件可以进行加速下载,我是通过服务器下载的,然后从服务器下载到本地
    下载ollma
  3. 下载完成进行安装
    在这里插入图片描述
  4. 安装完成之后,到官网选择对应模型,我的电脑配置低,就选择了最低的来进行测试,1.5b代表模型具备15亿参数,个人学习用途,建议安装最小的1.5b版本即可。大多数的个人电脑配置都能跑的起来。
    在这里插入图片描述
  5. 在powershell中输入命令进行下载
    在这里插入图片描述
  6. 下载完成进行简单的对话测试,1.5b的这个模型还是比较简单的,回答问题也是一般,大家进行学习测试即可
    在这里插入图片描述

3、安装图形化对话

  1. 我们以ChatBox AI为例,访问官网chatboxai https://chatboxai.app/
    在这里插入图片描述
  2. 下载安装之后,启动我们选择使用自己的本地模型在这里插入图片描述
  3. 选择我们下载的Ollama在这里插入图片描述
  4. api端口默认为11434,我们直接使用即可,模型选择我们下载的1.5b在这里插入图片描述
  5. 最后我们就可以使用本地模型度对话了在这里插入图片描述

4、问题总结

  1. https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server这个地址里面有ollama常见问题,有的同学可能不方便打开,下面我放一些问题截图
    在这里插入图片描述在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

莫忘初心丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值