内网部署VLLM+本地大模型，避坑指南

安装vllm

通过docker容器的形式拉包，非pip包部署！不包含nvidia的驱动安装，默认已经有gpu卡！

容器拉vllm最新的包

在外网电脑docker拉包，注意这里包是不能断点续传的找个网络好的环境一次性下载完，总体大约16G，我的是0.8.1版本。

docker pull vllm/vllm-openai:latest

容器打包镜像

docker save -o vllm_image.tar vllm/vllm-openai:latest

内网容器加载镜像

docker load -i vllm_image.tar
docker images # 查看是否已经加载成功

下载模型文件

模型搜索下载可以点击https://hf-mirror.com/
vllm当前版本可以支持的模型参考https://vllm.hyper.ai/docs/models/supported-models
注意：这里需要评估一下自己卡的gpu是不是够，如果一张15G的卡要启动17G的模型是起不来的！

模型copy目录

mkdir /vllm/models # 内网创建模型读取的目录

在外网下载好全部的模型文件，一般包括配置文件config.json/params和.pth/.onnx/model.safetensors等，整个文件包都要下载下来。在内网解压后以模型命名存储在文件夹里，绝对路径为：/vllm/models/bge-reranker-v2-m3/

[root@localhost models] ll
tot