vLLM实战部署embedding、reranker、senseVoice模型（上）

原创 已于 2025-06-22 14:40:18 修改 · 3k 阅读 · 34 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#embedding

于 2025-06-02 16:38:16 首次发布

概述

一个开源的支持高并发的高性能大模型推理引擎。在这篇博客有简单提到过。

学习资料：官方文档，官方中文文档，中文文档。

modelscope

通过vLLM（或其他平台、框架）部署模型前，需要先下载模型。国内一般使用魔搭社区，模型库里搜索想要下载的模型。输入qwen3会看到很多个候选项，主要是：

  • 参数量不一致；
  • 量化版本不一致；
  • 提交者不一致。

总之，找到模型下载路径（/Qwen/Qwen3-30B-A3B）是需要花点时间的。

下载模型有多种方式：

  • 通过浏览器下载：打开魔搭页面，默认下载到C:\Users\johnny\Downloads目录下。模型文件通常非常大，如Qwen3-30B-A3B-FP8，分割为7个文件共30+G。Chrome下载效果如下，不便之处在于文件名可辨识度非常低，最后极有可能不知道下载下来的是哪个模型的子文件。而且这么做，也不太专业。
    在这里插入图片描述
  • 通过命令行下载：在有Python和pip的环境下，pip install modelscope安装modelscope。使用modelscope命令行下载，如下载reranker模型：modelscope download --model BAAI/bge-reranker-v2-m3 --local_dir /home/models/BAAI/bge-reranker-v2-m3。
  • 通过客户端下载：vim ms_download.py，填入如下内容
from modelscope import snapshot_download
import os

os.environ['HTTP_PROXY'] = 'http://192.168.4.123:7890'
os.environ['HTTPS_PROXY'] = 'http://192.168.4.123:7890'

model_dir = snapshot_download('JunHowie/Qwen3-30B-A3B-GPTQ-Int8')

embedding

使用BAAI提供的模型，docker启动命令（一行）：

docker run --name=embedding --volume /home/models:/home/models --network=host --workdir=/ --restart=unless-stopped --runtime=nvidia --detach=true docker.1ms.run/dustynv/vllm:0.7.4-r36.4.0-cu128-24.04  python3 -m vllm.entrypoints.openai.api_server --served-model-name BAAI/bge-m3 --task embedding --enable-prefix-caching   --model /home/models/BAAI/bge-m3 --host 0.0.0.0 --port 8001 --trust-remote-code

docker logs -f <container_id>查看日志：
在这里插入图片描述
实际上，上述截图还省略掉不少有价值的日志：

  • embedding模型只花费2.38s就成功加载权重值，只使用1G内存（显存），这也是被称为小模型的原因，下面的reranker和语音模型也是如此；
  • 暴露的端点，即Endpoint，或routes，有很多，不一一列举；
  • 端口是8001；本地访问使用http://0.0.0.0:8001/或http://localhost:8001，同一个局域网访问需要使用固定IP形式：http://192.168.4.134:8001/openapi.json；
  • 192.168.4.123:63143是什么？

curl请求截图：
在这里插入图片描述
在这里插入图片描述
postman请求接口如下：
在这里插入图片描述
一行命令的可视化效果可能不太好，docker启动命令（多行）：

docker run -it \
--name=embedding \
--volume /home/models:/home/models \
--network=host \
--workdir=/ \
--restart=unless-stopped \
--runtime=nvidia \
--detach=true \
dustynv/vllm:0.7.4-r36.4.0-cu128-24.04 \
python3 -m vllm.entrypoints.openai.api_server \
--served-model-name BAAI/bge-m3 \
--task embedding \
--enable-prefix-caching \
--model /home/models/BAAI/bge-m3 \
--host 0.0.0.0 \
--port 8001 \
--trust-remote-code

测试

使用postman简单测试，POST请求，requestBody如下：

{
    "model":"BAAI/bge-m3",
    "input":"智能家居系统如何帮助提高家庭能源效率？"
}

执行效果如下：
在这里插入图片描述
使用更加专业的py脚本来执行测试：

import requests
import concurrent.futures

BASE_URL = "http://192.168.4.134:30011"
MODEL = "BAAI/bge-m3"

def create_request_body():
	return {
		"model": MODEL,
		"input": "智能家居系统如何帮助提高家庭能源效率？"
	}

def make_request(request_body):
	headers = {
		"Content-Type": "application/json"
	}
	response = requests.post(f"{BASE_URL}/v1/embeddings", json=request_body, headers=headers, verify=False)
	return response.json()

def parallel_requests(num_requests):
	request_body = create_request_body()
	with concurrent.futures.ThreadPoolExecutor(max_workers=num_requests) as executor:
		futures = [executor.submit(make_request, request_body) for _ in range(num_requests)]
		results = [future.result() for future in concurrent.futures.as_completed(futures)]
	return results

if __name__ == "__main__":
	num_requests = 50  # Example: Set the number of parallel requests
	responses = parallel_requests(num_requests)
	for i, response in enumerate(responses):
		print(f"Response {i+1}: {response}")

k8s

上面是使用docker方式启动模型，--restart=unless-stopped参数可以实现自动重启，但是重启（包括探针）机制不如k8s。

将上面的启动脚本扔给GPT，再经过调整，不难得到一个符合k8s或k3s的yaml文件：

# embedding-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-embedding
spec:
  replicas: 1
  selector:
    matchLabels:
      app: vllm-embedding
  template:
    metadata:
      labels:
        app: vllm-embedding
    spec:
      nodeSelector:
        kubernetes.io/hostname: k3s-master-2
      runtimeClassName: nvidia  # 需提前配置GPU运行时
      containers:
        - name: vllm-embedding
          image: dustynv/vllm:0.7.4-r36.4.0-cu128-24.04
          command: ["python3"]
          args:
            - "-m"
            - "vllm.entrypoints.openai.api_server"
            - "--served-model-name"
            - "BAAI/bge-m3"
            - "--task"
            - "embedding"  # 关键参数：指定任务类型
            - "--enable-prefix-caching"
            - "--model"
            - "/home/models/BAAI/bge-m3"
            - "--host"
            - "0.0.0.0"
            - "--port"
            - "8011"
            - "--trust-remote-code"
          volumeMounts:
            - name: model-storage
              mountPath: /home/models
          startupProbe:
            httpGet:
              path: /health
              port: 8011
            initialDelaySeconds: 120
            periodSeconds: 10
            failureThreshold: 3
          livenessProbe:
            httpGet:
              path: /health
              port: 8011
            initialDelaySeconds: 90
            periodSeconds: 10
            timeoutSeconds: 5
            failureThreshold: 3
          readinessProbe:
            httpGet:
              path: /health
              port: 8011
            initialDelaySeconds: 90
            periodSeconds: 5
            timeoutSeconds: 3
            failureThreshold: 1
      volumes:
        - name: model-storage
          hostPath:
            path: /home/models  # 主机模型存储路径
---
# embedding-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: vllm-embedding-service
spec:
  selector:
    app: vllm-embedding
  ports:
    - protocol: TCP
      port: 8011      # 集群内部访问端口
      targetPort: 8011  # 容器端口
      nodePort: 30011
  type: NodePort      # 外部访问方式

reranker

与embedding经常一起出现的就是重排序，即reranker小模型。魔搭社区地址，一般用BAAI/bge-reranker-v2-m3

直接给出docker启动模型命令：

docker run -it --name=rerank --volume /home/models:/home/models --network=host --workdir=/ --restart=unless-stopped --runtime=nvidia --detach=true dustynv/vllm:0.7.4-r36.4.0-cu128-24.04  python3 -m vllm.entrypoints.openai.api_server --served-model-name BAAI/bge-reranker-v2-m3 --enable-prefix-caching --model /home/models/BAAI/bge-reranker-v2-m3 --host 0.0.0.0 --port 8002  --trust-remote-code

转化为k3s或k8s的yaml文件也很简单，将上面的embedding模型的yaml文件稍加改动即可。

语音

此处的语言模型指的是ASR模型，参考语音转文本ASR、文本转语音TTS。

魔搭社区地址为iic/SenseVoiceSmall。启动SenseVoiceSmall模型的镜像不是vLLM，需要自己构建Docker镜像。如果转换为k3s yaml文件，则还需要将Docker镜像转化成crictl镜像。具体参考docker、ctr、crictl命令简介与使用。

使用开源代码仓库，Fork到公司内部代码仓库地址，调整一些配置，维护自己的Dockerfile，即可自主构建Docker镜像。

比如准备好如下Docker镜像：
在这里插入图片描述
对于语言模型，其yaml文件也非常简单：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: sense-voice
  labels:
    app: sense-voice
spec:
  replicas: 1
  selector:
    matchLabels:
      app: sense-voice
  template:
    metadata:
      labels:
        app: sense-voice
    spec:
      containers:
      - name: sense-voice
        image: harbor.tesla.com/agent/sense-voice-api:arm64-9a358d5f-2025-05-07-18-46-55
        imagePullPolicy: IfNotPresent
        env:
        - name: model_path
          value: "/mnt/models/BAAI/SenseVoiceSmall"
        volumeMounts:
        - name: model-storage
          mountPath: /mnt/models
        startupProbe:
            httpGet:
              path: /health
              port: 8003
            initialDelaySeconds: 120
            periodSeconds: 10
            failureThreshold: 3
        livenessProbe:
          httpGet:
            path: /health
            port: 8003
          initialDelaySeconds: 90
          periodSeconds: 10
          timeoutSeconds: 5
          failureThreshold: 3
        readinessProbe:
          httpGet:
            path: /health
            port: 8003
          initialDelaySeconds: 90
          periodSeconds: 5
          timeoutSeconds: 3
          failureThreshold: 1
        resources:
          limits:
            cpu: "2"
            memory: "4Gi"
          requests:
            cpu: "1"
            memory: "2Gi"
      volumes:
      - name: model-storage
        hostPath:
          path: /mnt/models
---
apiVersion: v1
kind: Service
metadata:
  name: sense-voice-service
spec:
  selector:
    app: sense-voice
  ports:
    - protocol: TCP
      port: 8003        # 服务端口
      targetPort: 8003  # 容器端口
      nodePort: 30003
  type: NodePort        # 暴露为NodePort便于外部访问

如果使用k3s部署yaml文件，由于k3s使用的是crictl镜像，k3s会在启动模型时将Docker镜像转换成crictl镜像：
在这里插入图片描述
如上图所示，两个镜像其ID是一样的，但crictl镜像更轻量级一些。

vLLM模型部署，下篇

本地部署Embedding模型API服务的实战教程
herosunly的博客
02-28 8万+
本文主要介绍了本地部署Embedding模型API服务的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型 3. 运行代码 3.1 启动模型服务 3.2 调用代码
vllm方式部署Deepseek R1、Embedding、Reranker、Qwen3，并集成dify环境
qq_23435961的博客
05-15 2291
vllm部署deepseek满血满+Qwen3满血版+ dify集成调用
vLLM 部署大模型
热门推荐
哦豁灬
04-04 3万+
vLLM 是来自 UC Berkeley 的 LMSYS 在 LLM 推理方面的最新工作（没错就是搞出 Vicuna 的那个 group），最大亮点是采用 Paged Attention 技术，结合 Continuous Batching，极大地优化了 realtime 场景下的 LLM serving 的 throughput 与内存使用。
Debain-12.9使用vllm部署内嵌模型/embedding
Eddy的博客
03-22 1269
Debain-12.9使用vllm部署内嵌模型/embedding
通过vLLM部署LLM模型到生产环境中
Michael的博客
02-07 1779
./output/qwen2_5-1_5b-instruct/v0-202xxxxx-xxxxxx/checkpoint-xxx-merged”：替换为真实的微调模型路径。该服务提供的HTTP接口兼容OpenAI API，可以通过调用HTTP接口，如/v1/chat/completions，让你快速体验大模型的推理能力。然后，在终端窗口执行wrk压测命令，分别设置chat接口的并发量(-c)为1和10，压测时间(-d)均为10s，观察两个实验的压测结果。请注意，关闭终端窗口将会立即终止服务。
服务器部署LLM、Embedding
青山的博客
12-30 3714
介绍在服务器下将大语言模型、embedding模型通过transformers或者vllm的方式部署为API服务的搭建步骤和脚本
用vllm快速部署大模型
weixin_58753619的博客
01-21 3574
在迅速发展的AI领域中，高效部署大型语言模型（LLM）对于许多应用程序至关重要。对于希望利用LLM力量的开发人员和组织来说，vLLM提供了一种简单、快速且经济高效的解决方案，用于在GPU上运行模型。本文将指导您完成vLLM的安装、在服务器上运行它以及将其集成到应用程序中的步骤。vLLM专为希望在其GPU上托管大型语言模型的人设计，这对于高吞吐量、并行处理和流式输出至关重要。无论您是在计算机上本地部署模型，还是在基于云的实例上部署，vLLM都提供了一个强大且可扩展的解决方案。
利用 vLLM 优化部署私有化大模型，让推理速度飞起
小毕超博客
01-21 3110
vLLM是一个快速且易于使用的大模型库，专为大模型的推理和部署而设计。可以无缝集成 HuggingFace、Modelscope 上的模型。在性能优化上 vLLM 通过引入创新的架构和算法，如Paged Attention、动态张量并行等，减少计算开销和提高吞吐量，实现推理过程的高效，从而加速LLM在推理阶段的性能。一定程度上解决了传统大模型在硬件资源有限情况下的性能瓶颈。
Embedding模型部署及效果评测
python123456_的博客
06-13 5998
本文选用常见的几类中文友好的开源Embedding模型进行了简单效果评测，发现bge-m3和tao-8k的效果不错。有条件的读者可以将其部署在GPU上进行评测，应该会更快。另外，也可以使用更为全面的数据集进行评估，以得出更为权威的结论。在实际的生产环境中，还要进行压力测试，以评估文档向量化的性能。
langchain教程-4.model/vllm模型部署和langchain调用
the_3rd_bomb的博客
02-06 450
该系列教程的代码: https://github.com/shar-pen/Langchain-MiniTutorial我主要参考 langchain 官方教程, 有选择性的记录了一下学习内容这是教程清单。
vllm本地部署bge-m3模型API服务实战教程
2401_85252837的博客
05-19 1936
本文详细介绍了在Ubuntu 24.04系统上，使用CUDA 12.8和Python 3.12环境，本地部署bge-m3模型API服务的实战教程。首先，通过Miniconda创建并激活虚拟环境，随后安装vllm、对应版本的PyTorch以及flash_attn（安装过程可能耗时较长）。接着，从魔搭社区下载bge-m3模型，并通过命令行启动API服务。最后，提供了调用API服务的示例代码，并展示了运行结果。整个过程涵盖了环境配置、模型下载、服务启动及验证等关键步骤，适合需要在本地部署bge-m3模型的开发者参
vllm多卡部署开源模型（一）
周的技术博客
01-03 2341
背景：最近准备私有化一个语言模型，在问题理解，意图分析，数据组合等业务上，进行更好的理解，记录一下过程。【未完待续，吃饭中。4. embedding模型。5. rerank模型。
零基础实战：用 Docker 和 vLLM 本地部署 BGE-M3 文本嵌入模型
静心编程，禅意生活。
06-13 1940
BGE-M3是北京智源推出的多功能文本嵌入模型，支持跨语言语义匹配。利用Docker容器化和vLLM框架可高效部署该模型，实现本地运行的优势包括隐私保护、定制化和成本控制。通过配置Docker环境，使用vLLM官方镜像加载模型，并进行文本嵌入测试验证效果。该方案适合开发者快速验证模型能力，或集成到本地NLP流程中。
✨使用 vLLM + Docker 部署 Qwen3-Embedding-8B 并实现高效文本向量生成（附 `curl` 测试）
最新发布
用大模型重构生活：猫奴程序员的AI智能日常记录
06-22 2257
本文介绍了如何使用 vLLM 和 Docker 部署 Qwen3-Embedding-8B 嵌入模型服务，并通过标准 OpenAI 兼容接口进行调用和结果解析。如果你在部署中遇到任何问题，欢迎留言讨论！
vllm本地部署bge-reranker-v2-m3模型API服务实战教程
2401_85252837的博客
05-20 1839
本文详细介绍了如何在Ubuntu 24.04环境下，使用CUDA 12.8和Python 3.12本地部署BAAI/bge-reranker-v2-m3模型的API服务。首先，通过Miniconda创建虚拟环境并安装vllm、对应版本的PyTorch以及flash_attn。随后，从魔搭社区下载bge-reranker-v2-m3模型，并配置CUDA环境。最后，通过命令行启动vLLM服务，并使用Python代码调用API进行验证。整个过程涵盖了环境配置、模型下载、服务启动及API调用，为开发者提供了完整的实
【大模型LLM第十二篇】模型部署框架之vLLM模型服务部署实战讲解
AI蜗牛车
10-10 4332
前言vLLM是用于LLM推理和服务的工具库。vllm由以下几点突出的“快”：最先进的服务吞吐量PagedAttention连续批处理传入请求快速模型执行以CUDA/HIP graph量化:GPTQ, AWQ, SqueezeLLM, FP8 KV缓存优化CUDA内核文档和代码：https://docs.vllm.ai/en/stable/https://github.com/vllm-projec...
LLM的基础模型5：Embedding模型
鲁班模锤
06-05 1825
经过编码之后，所有单词对应的编码向量能够反应单词之间的关系。理解和搞清楚Embedding的原理是必须的，它是一切的基石，某种意义也是深度神经网络的灵魂，其实它就是人类所谓的抽象思维。大模型模拟人类解决了将海量的信息进行高效的压缩编码。
qwen2.5vl 替换Embedding
02-28
### 替换 Qwen2.5VL 模型中的 Embedding 层 对于希望替换 Qwen2.5VL 大模型中 Embedding 层的需求，操作涉及对现有模型架构的理解以及 PyTorch 或其他框架的具体实现方法。通常情况下，在基于 Transformer 的预训练模型中修改特定组件如 Embedding 需要遵循一定的流程。 #### 加载原始模型并定义新嵌入层 首先加载现有的 Qwen2.5VL 模型实例，并创建一个新的自定义 Embedding 层来替代原有的部分： ```python from transformers import AutoModelForCausalLM, AutoConfig config = AutoConfig.from_pretrained("Qwen/Qwen-2.5VL") # 获取配置文件 model = AutoModelForCausalLM.from_config(config) new_embedding_layer = torch.nn.Embedding( num_embeddings=custom_vocab_size, embedding_dim=config.hidden_size ).to(model.device) ``` 此处 `custom_vocab_size` 应该被设置为你想要的新词汇表大小[^1]。 #### 更新模型结构 接着将新的 Embedding 层集成到原模型内部，这一步骤可能因具体库版本而异，但对于大多数情况而言可以这样做: ```python # 假设 'transformer.wte' 是目标位置的名字空间 original_wte_name = "transformer.wte" setattr(model.transformer, original_wte_name, new_embedding_layer) # 如果还需要更新 token embeddings mapping，则执行如下命令 if hasattr(model.lm_head.decoder, 'weight'): model.lm_head.decoder.weight = new_embedding_layer.weight else: model.set_input_embeddings(new_embedding_layer) ``` 这段代码会把之前准备好的 `new_embedding_layer` 插入到指定的位置(`transformer.wte`)，并且同步更改解码器权重以便保持一致性[^3]。 #### 测试与验证 完成上述改动之后非常重要的一环是对整个过程进行充分测试以确认一切正常工作。可以通过简单的前向传播检查输出形状是否符合预期；也可以利用一些已知输入样本来对比改造前后结果差异。 ```python test_input_ids = ... # 准备用于测试的数据集样本 ID 列表 output_before_modification = model(test_input_ids)[0].detach().cpu() output_after_modification = modified_model(test_input_ids)[0].detach().cpu() print(f"Output shapes match? {output_before_modification.shape == output_after_modification.shape}") ``` 以上就是关于如何在 Qwen2.5VL 中替换 Embedding 层的一个基本指导方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

johnny233

晚饭能不能加鸡腿就靠你了

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值