快速部署私有化大模型毕昇

最新推荐文章于 2025-06-12 14:54:49 发布

吞掉星星的鲸鱼

最新推荐文章于 2025-06-12 14:54:49 发布

阅读量805

点赞数 5

CC 4.0 BY-SA版权

文章标签：大模型私有化 centos 毕昇腾讯云

本文链接：https://blog.csdn.net/m0_51534164/article/details/140830388

docker安装

1.
# Linux系统安装docker，以CentOS/RHEL为例，其他操作系统请参考docker官方安装方法
# 如果已经安装过docker 期望重装，先卸载
sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine

2.
# 添加docker的yum安装源
yum install -y yum-utils

3.
检查是否安装成功
rpm -qa | grep yum-utils

如果安装了 yum-utils，你将会看到类似 yum-utils-1.1.31-54.el7_8.noarch 这样的输出，其中包含了软件包的名称、版本和架构。

加镜像源

4.


sudo yum-config-manager --add-repo \
    https://mirrors.ustc.edu.cn/docker-ce/linux/centos/docker-ce.repo

或者

yum-config-manager \
    --add-repo \
    http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

成功响应

# 安装docker-ce组件
5.
sudo yum makecache fast

6.
sudo yum install docker-ce docker-ce-cli containerd.io

等待安装完成

docker-compose 安装

# 安装docker-compose
7.
wget https://github.com/docker/compose/releases/download/v2.26.0/docker-compose-`uname -s`-`uname -m` -O /usr/local/bin/docker-compose

8.
chmod +x /usr/local/bin/docker-compose

9.
# 验证docker-compose工作正常
docker-compose -v

其中 `uname -s`-`uname -m` 替换为自己的

如安装失败

#编辑docker.service
vim /lib/systemd/system/docker.service

文件中注释
# ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
文件中新增
ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

#更新配置
systemctl daemon-reload

#重新启动
systemctl restart docker

#添加开放2375端口
firewall-cmd --add-port=2375/tcp --permanent

#重载入添加的端口
firewall-cmd --reload

#查询2375端口是否开启成功
firewall-cmd --query-port=2375/tcp

// Linux-x86_64  替换为自己的
sudo curl -L https://github.com/docker/compose/releases/download/v2.26.0/docker-compose-Linux-x86_64 -o /usr/local/bin/docker-compose

sudo chmod +x /usr/local/bin/docker-compose

# 验证docker-compose工作正常
docker-compose --version

成功如下

NVIDIA Container Toolkit安装

10.
# 添加yum安装源
curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

11.
# yum方式安装NVIDIA Container Toolkit
sudo yum install -y nvidia-container-toolkit

12.
# 为docker添加nvidia runtime的配置
sudo nvidia-ctk runtime configure --runtime=docker

13.
# 重启docker服务
sudo systemctl restart docker

14.
# 验证nvidia runtime正常工作，在Runtimes中有显示有nvidia
docker info | grep Runtimes

快速部署毕昇核心服务

下载毕昇代码

15.
# 如果系统中有git命令，可以直接下载毕昇代码
git clone https://github.com/dataelement/bisheng.git

16.
# 进入安装目录
cd bisheng/docker

# 如果系统没有没有git命令，可以下载毕昇代码zip包
wget https://github.com/dataelement/bisheng/archive/refs/heads/main.zip
# 解压并进入安装目录
unzip main.zip && cd bisheng-main/docker

部署毕昇核心服务

毕昇核心服务包括：mysql、redis、elastichsearch、onlyoffice、milvus（包括milvus依赖的minio、etcd）、bisheng-backend、bisheng-frontend

# 进入bisheng/docker或bisheng-main/docker目录，执行
docker-compose up -d

等待成功即可

如安装超时配置镜像加速器（推荐腾讯云加速器，嘎嘎快）

阿里云加速器

阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": ["https://wr9o82tx.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

腾讯云加速器

轻量应用服务器安装 Docker 并配置镜像加速源-实践教程-文档中心-腾讯云

如果

则单独下载某一个

默认会从docker hub上下载所需的镜像，如果网络访问docker hub存在困难，可以从毕昇提供的镜像仓库下载镜像：
# 登陆到毕昇提供的私有镜像仓库
docker login cr.dataelem.com -u docker -p dataelem
# 从毕昇私有镜像仓库下载所需的镜像，例如：
docker pull cr.dataelem.com/dataelement/bisheng-backend:latest
docker pull cr.dataelem.com/dataelement/bisheng-frontend:latest
docker pull cr.dataelem.com/mysql:8.0
docker pull cr.dataelem.com/redis:7.0.4
docker pull cr.dataelem.com/onlyoffice/documentserver:7.2.1
docker pull cr.dataelem.com/bitnami/elasticsearch:8.12.0
docker pull cr.dataelem.com/quay.io/coreos/etcd:v3.5.5
docker pull cr.dataelem.com/minio/minio:RELEASE.2023-03-20T20-16-18Z
docker pull  cr.dataelem.com/milvusdb/milvus:v2.3.3

从私有仓库下载镜像后，由于镜像名称中带有cr.dataelem.com字段，因此需要将镜像重新命名以匹配docker-compose.yml中使用的镜像名称，或者修改docker-compose.yml中使用的镜像名字匹配下载的镜像名字

执行docker-compose ps查看服务是否为healthy状态，如果有服务处于unhealthy状态，先尝试重启容器，如果容器依然无法变为healthy状态，则需要查看容器的日志。

访问毕昇页面验证是否部署成功。访问地址 ip:3001 出现登录页，进行注册，默认第一个注册的用户会成为系统admin。