大模型的部署简单搭建_如何简易部署可以训练的ai大模型软件-CSDN博客

本文链接：https://blog.csdn.net/weixin_43475992/article/details/148828549

大模型的部署搭建

真的好久没有进行博客的写作了,原因,最近的自己生活有点小波动,

最近想想还是有空写一篇文章,这篇文章的描述是学习的当下热门AI

本期,介绍的也是AI相关的LLM(大语言模型)

这个好多人应该都是模糊的,包括我一开始没有学习,就感觉牛逼的不行,今天我们亲自部署实践下

第一步:Ollama安装

首先我们需要下载一个管理大模型的软件Ollama

Ollama下载的地址:有的小伙伴下载不下来,可以私我,给你发离线exe

在这里插入图片描述

接下来,我们静等安装成功就可以了

在这里插入图片描述

检测是否安装成功: 在浏览器输入:localhost:11434 如果出现如下图所示说明已经成功Ollama is running
在这里插入图片描述

2.打开命令行终端

win+r键弹出窗口,输入cmd,打开cmd窗口,输入命令ollama,可以看到所有的命令

在这里插入图片描述

接下来,我们下载大模型

输入命令:ollama run llama3.2 我们下载的llama3.2的模型

在这里插入图片描述

下载需要一些时间,我们静静的等待就行,直到出现下图所示,表示安装成功,接下来,我们进行第二步:

第二步: 安装和配置UI界面

目的: 为了和本地的模型进行交互,我们也不能一直在黑窗口里面干活啊!哈哈哈!~

安装可视化界面的软件: MaxKB: 是基于大语言模型和RAG的知识库问答系统

当中的RAG我解释下:

就是Retrieval检索+ Argument增强+Generation生成这三个词组成

在安装之前,我们本地要先安装dockerDesktop,安装好deskstop,我们要打开Hyper
在这里插入图片描述

然后我们打开cmd窗口,输入如下命令:

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
##解释说明
docker run：启动一个新容器
-d：以后台(守护进程)模式运行容器
--name=maxkb：给容器命名为"maxkb"
-p 8080:8080：将主机的8080端口映射到容器的8080端口
-v ~/.maxkb:/var/lib/postgresql/data：将主机的~/.maxkb目录挂载到容器的/var/lib/postgresql/data目录
1panel/maxkb：使用的Docker镜像名称

等待下载
在这里插入图片描述

第二种方法:直接一键安装

# Linux 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb
    
# Windows 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb