vLLM - LLM 类初始化参数

vLLM - LLM 类初始化参数

flyfish

一、模型与分词器配置

控制模型加载路径、分词器设置及远程代码信任策略。

二、安全性与本地资源访问

控制模型加载和 API 请求的安全策略，限制本地文件访问。

三、分布式与并行计算

控制模型在多 GPU 上的并行方式及资源分配。

四、模型精度与量化

控制模型权重的数据类型及量化策略，平衡精度与内存占用。

五、内存与性能优化

控制 GPU/CPU 内存分配、交换空间及执行模式，提升吞吐量或降低延迟。

六、随机数生成与可复现性

控制采样过程中的随机种子，确保结果可复现。

七、HuggingFace 配置覆盖

自定义 HuggingFace 模型配置的参数或处理函数。

八、其他参数

通用配置参数，传递给底层 EngineArgs 类。

最佳实践

1. 多 GPU 部署：

   • 设置 tensor_parallel_size 为可用 GPU 数，gpu_memory_utilization=0.8~0.9，平衡吞吐量与稳定性。

2. 长序列生成：

   • 增大 max_seq_len_to_capture（如 8192），降低 gpu_memory_utilization（如 0.7），避免频繁切换执行模式。

3. 内存优化：

   • 使用 quantization="awq" 或 gptq 降低模型内存占用，结合 cpu_offload_gb 进一步扩展可用空间。

4. 可复现性：

   • 设置 seed 为固定值，确保相同输入生成相同结果（需配合 temperature > 0）。

vLLM 处理多模态输入参数用法说明

from transformers import AutoProcessor
from vllm import LLM, SamplingParams
from qwen_vl_utils import process_vision_info

MODEL_PATH = "Qwen/Qwen2.5-VL-7B-Instruct"

# 初始化LLM模型，设置多模态输入限制（每个提示最多10个图像和10个视频）
llm = LLM(
    model=MODEL_PATH,
    limit_mm_per_prompt={"image": 10, "video": 10},
)

# 设置采样参数，控制文本生成的方式
sampling_params = SamplingParams(
    temperature=0.1,         # 温度参数，控制随机性，值越低生成越确定性
    top_p=0.001,           # 核采样概率阈值，限制候选词范围
    repetition_penalty=1.05, # 重复惩罚因子，大于1时抑制重复生成
    max_tokens=256,        # 最大生成长度
    stop_token_ids=[],     # 停止生成的token ID列表
)

# 构建图像输入消息（使用本地文件）
image_messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "path/to/your/local/image.jpg",  # 替换为本地图像路径
                "min_pixels": 224 * 224,
                "max_pixels": 1280 * 28 * 28,
            },
            {"type": "text", "text": "What is the text in the illustrate?"},
        ],
    },
]

# 构建视频输入消息（使用本地文件）
video_messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": [
            {"type": "text", "text": "请用表格总结一下视频中的商品特点"},
            {
                "type": "video", 
                "video": "path/to/your/local/video.mp4",  # 替换为本地视频路径
                "total_pixels": 20480 * 28 * 28, "min_pixels": 16 * 28 * 28
            }
        ]
    },
]

# 选择使用视频消息作为示例
messages = video_messages

# 加载模型处理器
processor = AutoProcessor.from_pretrained(MODEL_PATH)

# 构建聊天模板，将消息转换为模型可接受的格式
prompt = processor.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

# 处理视觉信息，提取图像和视频输入
image_inputs, video_inputs, video_kwargs = process_vision_info(messages, return_video_kwargs=True)

# 准备多模态输入数据
mm_data = {}
if image_inputs is not None:
    mm_data["image"] = image_inputs
if video_inputs is not None:
    mm_data["video"] = video_inputs

# 构建LLM输入
llm_inputs = {
    "prompt": prompt,
    "multi_modal_data": mm_data,
    # FPS等视频处理参数将从video_kwargs中获取
    "mm_processor_kwargs": video_kwargs,
}

# 生成回答
outputs = llm.generate([llm_inputs], sampling_params=sampling_params)
generated_text = outputs[0].outputs[0].text

print(generated_text)

1. LLM初始化参数

   • model: 指定模型路径或名称，如"Qwen/Qwen2.5-VL-7B-Instruct"
   • limit_mm_per_prompt: 限制每个提示中可以包含的多模态输入数量，格式为字典，如{"image": 10, "video": 10}

2. SamplingParams参数

   • temperature: 控制生成文本的随机性。较低的值(如0.1)使生成更确定性，适合事实性任务；较高的值(如1.0)增加随机性，适合创造性任务。
   • top_p: 核采样参数，只考虑概率总和达到top_p的最小词元集合，减少低概率词元的生成。
   • repetition_penalty: 重复惩罚因子，大于1的值会抑制重复生成相同的内容，有助于避免模型重复相同的短语。
   • max_tokens: 限制生成的最大token数量，防止生成过长的文本。
   • stop_token_ids: 指定停止生成的token ID列表，当遇到这些token时，模型将停止生成。