前言
在人工智能技术迅猛迭代的当下,大语言模型正持续拓展应用边界。近期引发技术圈热议的DeepSeek凭借其卓越的文本生成能力,
已成为开发者构建智能应用的优先选择。今天这篇文章,主要介绍在个人计算机上实现这款前沿模型的本地化部署。
1、本地部署的好处
一、数据更安全
- 像把文件锁进自家保险箱,聊天记录、公司资料不会上传到别人服务器
- 银行医院这类单位用着放心,不用担心客户隐私外泄
- 就算断网也能用,野外做科研或者保密单位最需要这种
二、速度更快
- 自己电脑跑就像家门口取快递,云端服务像跨国海运(尤其处理长文档时)
- 中高端显卡(比如3060以上)反应速度比手机语音助手快3倍
- 可以24小时随时用,不用排队等别人服务器的处理名额
三、更省钱
- 买张显卡相当于"买断服务",用三年比天天付钱租云端便宜
- 平时不用的时候显卡还能跑游戏/做设计/挖矿(虽然不推荐)
- 不怕突然涨价,比如最近很多AI服务收费翻倍,自己部署不受影响
四、更自由
- 能教AI说"方言"(比如把回答改成东北话版本)
- 可以同时养多个AI,让它们分工合作(一个查资料,一个写总结)
- 自己调整"脑回路"(比如让AI回答更严谨或更有创意)
举个栗子:就像自己在家装净水器,虽然前期要买设备,但比天天买桶装水更划算,还能随时喝到新鲜水,水质自己把控。特别是家里有老人小孩(类似企业有特殊需求)的家庭,自己装净水器更安心。
2、开始安装
- 进入官方网站ollma,下载地址(https://ollama.com/download)
- 自己下载比较慢,如果有条件可以进行加速下载,我是通过服务器下载的,然后从服务器下载到本地
- 下载完成进行安装
- 安装完成之后,到官网选择对应模型,我的电脑配置低,就选择了最低的来进行测试,1.5b代表模型具备15亿参数,个人学习用途,建议安装最小的1.5b版本即可。大多数的个人电脑配置都能跑的起来。
- 在powershell中输入命令进行下载
- 下载完成进行简单的对话测试,1.5b的这个模型还是比较简单的,回答问题也是一般,大家进行学习测试即可
3、安装图形化对话
- 我们以ChatBox AI为例,访问官网chatboxai https://chatboxai.app/
- 下载安装之后,启动我们选择使用自己的本地模型
- 选择我们下载的Ollama
- api端口默认为11434,我们直接使用即可,模型选择我们下载的1.5b
- 最后我们就可以使用本地模型度对话了
4、问题总结
- https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server这个地址里面有ollama常见问题,有的同学可能不方便打开,下面我放一些问题截图