【vllm】L40分析

最新推荐文章于 2025-09-08 09:22:18 发布
最新推荐文章于 2025-09-08 09:22:18 发布
阅读量77 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： AI笔记 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/andeyeluguo/article/details/149230078
AI笔记 专栏收录该内容
125 篇文章 ¥9.90 ¥99.00
订阅专栏

1. L40的计算能力是8.9
deepseek 搜索
2. flash attention 3(FA3)要求计算能力大于等于8 并排除8.6和8.9以及blackwell archs(>=10)
./vllm/platforms/cuda.py
-> L40不支持FA3
3. FA2不支持kv-cache-fp8,只有FA3支持kv-cache-fp8
fa_utils.py
def flash_attn_supports_fp8() -> bool:
    return get_flash_attn_version() == 3 and \
        current_platform.get_device_capability().major == 9
        
-> L40现在用的是fp8
-> L40不能用FA3
L40不能用dual_chunk_attention_config
        

LLM - 使用 vLLM 部署 Qwen2-VL 多模态大模型 (配置 FlashAttention) 教程
AGI
09-26 6283
vLLM 用于 大语言模型(LLM) 的推理和服务，具有多项优化技术，包括先进的服务吞吐量、高效的内存管理、连续批处理请求、优化 CUDA 内核以及支持量化技术，如GPTQ、AWQ等。FlashAttention 是先进的注意力机制优化工具，通过减少内存访问和优化计算过程，显著提高大型语言模型的推理速度。
LLM大模型训练加速利器FlashAttention详解
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-29 7168
因为Transformer的自注意力机制(self-attention)的计算的时间复杂度和空间复杂度都与序列长度有关，所以在处理长序列的时候会变的更慢，同时内存会增长更多。通常的优化是针对计算复杂度(通过FLOPs数衡量), 优化会权衡模型质量和计算速度。在FlashAttention中考虑到attention算法也是IO敏感的，通过对GPU显存访问的改进来对attention算法的实现进行优化。
vLLM学习笔记-FlashAttention-更新ing
qq_71640350的博客
06-10 539
用于交换KVCache中特定块。（分别交换键缓存和值缓存？等属性，继承自AttentionBackend作为后端。
Qwen3-235B-A22B-Instruct-2507 的部署与使用
gitblog_01161的博客
08-11 955
Qwen3-235B-A22B-Instruct-2507 的部署与使用 【免费下载链接】Qwen3-235B-A22B-Instruct-2507 Qwen3-235B-A22B-Instruct-2507是一款强大的开源大语言模型，拥有2350亿参数，其中220亿参数处于激活状态。它在指令遵循、逻辑推理、文本理解、数...
如何从头训练大语言模型，实战经验分享！！
2401_84206094的博客
11-05 1041
自8月底训好自己的1.5B的LLM后，一直都没有发布一个完整的技术报告，不少小伙伴私信我催更，千呼万唤始出来。豁然开朗：搞定全流程之后，对LLM确实豁然开朗不少，不过，发现要学的新东西更多了…尤其是这三个月，qwen, meta, anthropic等等发布的好文章实在太多了，真不想落下，没时间"反刍"当年的剩饭。Reasoning兴趣：对reasoning更感兴趣了(其实训1.5B模型的初衷，就是为了给将来从pretrain开始做reason的增强打基础)。保研季忙碌。
vllm量化01—Qwen2.5-7B
大脸男孩的博客
05-14 1007
本系列基于Qwen2.5-7B，学习如何使用，并使用benchmark_serving.py、lm_eval 测试模型性能和评估模型准确度。本文是该系列第1篇——初始模型。同时简单介绍如何编译 vllm 和如何使用 lm_eval。
Oumi推理加速：vLLM引擎配置教程
gitblog_00575的博客
09-07 521
你还在为大模型推理速度慢、显存占用高而困扰吗？作为Oumi（GitHub推荐项目精选）生态中最受欢迎的推理加速引擎，vLLM凭借PagedAttention技术实现了吞吐量10-20倍提升，同时降低50%显存占用。本文将系统讲解从基础安装到企业级部署的全流程配置方案，包含单GPU优化、多节点分布式推理、量化策略对比等实战内容，读完你将获得： - 3种显存优化方案的参数调优指南 - 多GPU环境下的...
企业私有化大模型部署：从POC到生产环境
AI天才研究院
07-28 819
选择1-2个最具代表性、价值最高或最紧急的业务场景进行验证，而不是试图覆盖所有设想的功能。设定清晰、可达成的POC成功指标。例如：“在指定的客服FAQ数据集上，模型的Top-1准确率达到75%以上，平均响应时间低于2秒。POC阶段应控制人力、物力、财力的投入，避免过度工程化。为POC设定明确的时间限制，通常2-4周为宜，确保项目快速推进。POC目标与范围回顾。数据、模型、环境、方法描述。详细的评估结果（定量+定性）。遇到的问题与挑战。成本与资源消耗估算。风险分析。
解锁新技能！大数据与AI深度结合，AI应用架构师的进阶技巧
AI天才研究院
08-19 461
在数字化浪潮席卷全球的今天，人工智能（AI）不再是实验室里的新奇概念，而是驱动各行各业创新和效率提升的核心引擎。从智能推荐、语音助手到自动驾驶、智能制造，AI的身影无处不在。然而，这些光鲜亮丽的AI应用背后，离不开海量、高质量数据的持续“喂养”和强大计算能力的支撑。
TensorRT + LLM 多模态推理协同部署：高吞吐 × 精度稳定的系统级方案
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-12 1190
多模态系统正在成为 AI 应用的主流架构，如何将语言大模型（LLM）与视觉模型（如 CLIP、BLIP、SAM、YOLO）协同部署，是落地 AI Agent、VQA 系统、文图检索、场景分析的关键。 > 本文将从工程角度深入讲解如何使用 TensorRT 构建多模型异构部署体系，支持 LLM 与视觉模型协同调度，包括：多后端模型分发、动态任务图管理、显存隔离与上下文共享、异步管线执行、跨模型 Plugin 复用等能力。最终构建一个**具备高性能、可扩展、稳定性的多模态智能引擎
适用于 LLM 推理的最佳 NVIDIA GPU：综合指南
iCloudEnd的博客
09-18 667
GPT-4、BERT 等大型语言模型 (LLM) 和其他基于 Transformer 的模型彻底改变了 AI 格局。这些模型需要大量计算资源进行训练和推理。选择合适的 GPU 进行 LLM 推理可以极大地影响性能、成本效益和可扩展性。在本文中，我们将探索最适合 LLM 推理任务的 NVIDIA GPU，并根据 CUDA 核心、Tensor 核心、VRAM、时钟频率和价格对它们进行比较。无论您是在设置个人项目、研究环境还是大规模生产部署，本指南都将帮助您选择最适合您需求的 GPU。
Qwen3-235B-A22B-Instruct-2507 的扩展能力
gitblog_00578的博客
08-11 816
Qwen3-235B-A22B-Instruct-2507 的扩展能力 【免费下载链接】Qwen3-235B-A22B-Instruct-2507 Qwen3-235B-A22B-Instruct-2507是一款强大的开源大语言模型，拥有2350亿参数，其中220亿参数处于激活状态。它在指令遵循、逻辑推理、文本理解、数学...
Qwen2.5-14B-Instruct-1M架构深度解析：从RoPE到双块注意力机制
gitblog_00451的博客
08-25 1057
Qwen2.5-14B-Instruct-1M架构深度解析：从RoPE到双块注意力机制 【免费下载链接】Qwen2.5-14B-Instruct-1M 项目地址: https://ai.gitcode.com/hf_mirror...
【TXT】用 Python 实现超漂亮的 HTML 两栏文本对比工具（支持行内差异高亮）
采菊东篱下，Python满乾坤！
09-05 1323
这个小工具虽然只有 300 多行代码，但却融合了文本处理、算法匹配、前端渲染和用户体验设计。它不仅实用，还能作为学习difflib和 HTML/CSS 布局的优秀范例。✅一句话总结：让文本对比不再枯燥，让差异“看得见”！也欢迎在评论区提出你的优化想法 😊。
torch神经网络入门级设备测试
m0_71002812的博客
09-07 1314
本文介绍了一个基于PyTorch的CPU与GPU性能评估系统，用于比较不同硬件在求解常微分方程(ODE)的神经网络模型中的计算效率。系统包含以下核心功能： 自动检测CUDA可用性及GPU配置 构建多层前馈神经网络模型求解二阶ODE 性能基准测试：分别在CPU/GPU上运行相同训练任务，计算加速比 内存使用分析：对比CPU/GPU张量的内存占用情况 梯度计算专项测试：评估反向传播耗时差异 评估结果显示，在处理大规模数据(≥5000个数据点)时，GPU凭借并行计算优势可获得显著加速效果。系统适用于科研人员优化物
AI驱动的软件测试：革命性的自动化、缺陷检测与实验优化
zzywxc787的博客
09-06 703
人工智能（AI）和机器学习（ML）技术的融入，正在从根本上重塑软件测试的格局，将其从一种主要是手动的、重复性的任务转变为一种智能的、预测性的、且持续优化的过程。*说明：多臂老虎机算法（MAB）由于将更多流量分配给了更好的版本B，其累积回报（点击次数）的增长速度远快于传统A/B测试（固定50/50分流）。： 利用NLP技术（如文本分类）自动分析新提交的Bug报告的内容、标题和描述，将其自动分类（如“前端UI问题”、“后端API错误”），并推荐或分配给最合适的开发人员（基于谁修改了相关代码文件）。
LeetCode Hot 100 Python (71~80)
最新发布
朝花夕拾。
09-08 704
LeetCode Hot 100 第71~80题的Python实现
Python实现生成矩形、三角形、六边形和圆形点云
不枯石的学习笔记
09-06 845
本文介绍了使用Python生成规则几何形状点云的方法，包括矩形、三角形、六边形和圆形。主要内容包括：1）基本步骤概述，涵盖参数定义、采样、噪声添加和可视化；2）四种几何形状的具体生成算法和示例代码；3）应用场景分析，如工业检测、机器人导航和虚拟现实；4）综合程序实现，通过Tkinter界面实现点云生成与可视化。文中详细说明了每种形状的采样算法（如重心坐标法、极坐标采样）和实现细节，并提供了完整的Python代码示例。该内容为三维点云处理的基础技术，适用于计算机视觉、机器人学等领域的研究和开发。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

andeyeluguo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值