大语言模型的自动驾驶 LMDrive/DriveVLM-Dual

原创 于 2025-08-24 16:03:22 发布 · 870 阅读 · 9 ·
CC 4.0 BY-SA版权
小刘
文章标签：

#语言模型 #自动驾驶 #人工智能 #大模型

大模型相关工作

CLIP

在这里插入图片描述

  • 核心思想：通过对比学习实现图像和文本的跨模态对齐，将两者映射到同一特征空间
  • 训练方式：
    • 对比预训练：批量处理(image, text)配对数据，正样本对特征相近，负样本对特征相远
    • 零样本分类：通过文本编码器生成类别描述的特征（如"a photo of a dog"），与图像特征计算相似度
  • 创新点：
    • 首次实现无需下游任务微调的零样本迁移能力
    • 使用4亿规模的网络图像-文本对进行训练
  • 局限性：无法处理复杂语义（如物体属性和空间关系）和多轮对话交互

BLIP-2

在这里插入图片描述

  • 核心贡献：提出轻量级Querying Transformer(Q-Former)桥接冻结的视觉编码器和语言模型

  • 两阶段训练：

    • 表示学习阶段：通过三种任务训练Q-Former：
      • 图像-文本对比学习（类似CLIP）
      • 基于图像的文本生成（单向注意力）
      • 图像-文本匹配（双向注意力）
    • 生成学习阶段：将Q-Former输出适配到冻结LLM的输入空间

  • 关键技术：

    • 特征降维：将高分辨率图像的数百token压缩至80个左右
    • 注意力掩码设计：根据不同任务需求控制query-text交互方式

  • 经济优势：仅需训练0.1%参数即可实现多模态能力，大幅降低计算成本
    在这里插入图片描述

  • 多任务训练：

    • 对比学习：图像和文本特征独立提取后比对
    • 文本生成：文本token可关注图像特征但禁止反向关注
    • 匹配分类：双向交互判断图像文本是否匹配

Qwen-VL

在这里插入图片描述

  • 三阶段训练：
    • 预训练：低分辨率图像+文本对基础对齐
    • 多任务微调：高分辨率图像+多样化任务（VQA、OCR等）
    • 监督微调：多轮对话数据增强交互能力
  • 能力特点：
    • 支持多图输入和长文本阅读理解
    • 实现细粒度视觉定位（如指出图中特定区域）
    • 多语言对话能力（中英文混合）
  • 与BLIP-2区别：全参数微调视觉和语言模型，需要更大计算资源

DriveGPT4

在这里插入图片描述

  • 核心创新：将自动驾驶场景理解转化为语言模型任务

  • 数据增强：

    • 使用YOLOv8检测环境物体
    • 通过ChatGPT自动生成丰富QA对（比原始BDD-X数据量增加40倍）

  • 双阶段训练：

    • 59.5万视频+70.3万图像预训练对齐模块
    • 7.3万视频+15万图像混合微调

  • 多任务输出：

    • 自然语言解释驾驶行为（“因红灯停车”）
    • 直接预测控制信号（速度，转向角）
    • 风险提示和驾驶建议
    • 在这里插入图片描述

  • 可解释性设计：

    • Action Description：当前行为描述（如"向右变道"）
    • Action Justification：行为依据（如"右侧车道车流更快"）
    • 控制信号预测：未来时段的连续运动参数

  • 领域优势：

    • 准确理解驾驶场景动态变化
    • 数值控制信号预测能力（GPT-4V无法实现）
    • 专业风险识别（如盲区车辆预判）

LMDrive 闭环自动驾驶

摘要

  • 创新点: 提出首个语言引导的闭环端到端驾驶框架LMDrive，整合多模态传感器数据和自然语言指令
  • 核心功能: 实时处理"Turn right at next intersection"等导航指令和"Watch for walkers up front"等注意指令
  • 问题背景: 现有自动驾驶系统在长尾突发事件和复杂城市场景中表现不佳，缺乏语言理解和人机交互能力
  • 数据集贡献: 公开包含64K指令跟随数据片段的数据集和LangAuto基准测试

本文贡献

  • 框架创新:
    • 闭环系统: 首个基于LLM的闭环端到端自动驾驶框架，支持持续驾驶
    • 多模态整合: 同时处理多视角相机、LiDAR数据和语言指令
  • 数据资源:
    • 64K数据片段: 每个片段包含2-20秒的导航指令、注意指令、传感器数据和控制信号
    • LangAuto基准: 测试误导/长指令和对抗性驾驶场景的处理能力

数据准备

  • 指令类型:
    • 导航指令: “Just move to the left and get ready to leave the highway”
    • 注意指令: “Please watch out for the pedestrians up ahead”
  • 多样化设计:
    • Follow类: “Maintain your current course until the upcoming intersection”
    • Turn类: “After [x] meters, take a left”
    • Notice类: “Watch for walkers up front”（使用表示具体距离数值）

模型结构

在这里插入图片描述

  • 双组件设计:

    • 视觉编码器: 处理多视角RGB和LiDAR数据，生成视觉token
    • 语言模型组件: 包含tokenizer、Q-Former和适配器，处理历史视觉token和语言指令

  • 输出机制:

    • 控制信号预测: 通过PID控制器转换为刹车、油门和转向信号
    • 指令完成检测: 判断当前帧是否已完成给定指令（如"前方50米左转"的完成状态）

  • 感知模块预训练框架
    在这里插入图片描述

  • 预训练任务:

    • 目标检测: 生成BEV地图token
    • 交通灯状态分类: 输出交通灯状态token
    • 未来路径点预测: 通过GRU生成路径点token

  • 训练阶段:

    • 预训练阶段: 保留预测头进行监督学习
    • 微调阶段: 冻结视觉编码器，仅生成视觉token供LLM使用

损失函数

  • 多任务学习:
    • 路径点损失:损失函数用于轨迹预测
    • 分类损失: 交叉熵损失判断指令完成状态
  • 时序监督:
    • 历史帧预测: 训练时对所有历史帧进行预测增强监督信号
  • 推理优化: 仅执行最新帧的预测以提高效率

消融实验

不同backbone比较
  • 性能对比:
    • 多模态优势: LLaVA-v1.5(36.2 DS)优于单模态LLaMA(31.3 DS)和Vicuna(33.5 DS)
  • 规模效应: 参数量越大性能越好，但计算成本增加
  • 评估指标:
    • DS(驾驶分数)、RC(路线完成率)、IS(违规分数)三个维度综合评估
关键发现

在这里插入图片描述

  • Q-Former必要性: 去除后DS从36.2降至31.7，显示跨模态对齐的重要性
  • BEV tokens贡献: 不使用BEV token导致IS从0.81降至0.72
  • 预训练关键性: 无视觉预训练时性能急剧下降(DS 16.9)
不同实验设定

在这里插入图片描述

  • 场景分类:
    • LangAuto: 基础路线(>500米)
    • LangAuto-Short: 中等路线(150-500米)
    • LangAuto-Tiny: 短路线(<150米)
  • 扩展场景:
    • Notice轨道: 增加实时注意指令模拟乘客提醒
    • Sequential轨道: 合并连续2-3条指令测试长指令理解
  • 不同实验设定的比较
    在这里插入图片描述
    在这里插入图片描述

    • Notice效果:

      • 安全提升: 加入注意指令后行人碰撞从0.03降至0.01
      • 违规减少: 闯红灯违规从1.18降至0.56

    • Sequential挑战:

      • 性能下降: DS从36.2降至34.0，显示合并指令增加理解难度

    • ChatGPT辅助生成指示
      在这里插入图片描述

      • 多样化生成:
        • 变体创建: 对"Turn Right"生成8种不同表达方式
        • 错误指令: 包含"Change to left-hand lane"(单车道)等违规指令
      • 鲁棒性训练:
        • 误导指令处理: 模型能拒绝"right on left-only lane"等错误指令
        • 多指令组合: 测试"turn right up ahead and proceeding along this route"等复杂指令理解能力

快慢双系统自动驾驶

方法

  • 场景描述
    在这里插入图片描述

    • 环境总结: 输出天气(Ewhether)、时间(Etime)、道路类型(Eroad)和车道状况(Elane)等关键环境要素，例如"晴天/白天/城市道路/右车道不可通行"
    • 危险目标识别: 检测可能影响驾驶决策的关键对象，如警车、施工区域等，需记录其类别和位置坐标(xi，yi)
    • 数据形式: 结构化输出包含环境总结和危险目标列表，如图2所示案例中的施工人员与施工区域标注

  • 场景分析
    在这里插入图片描述

    • 目标特性分析: 对危险目标进行三维度解析：

      • 静态属性(Cs): 如卡车超限货物、路边广告牌等固有特征
      • 运动状态(Cm): 包含位置、方向等动态信息，用于预测轨迹
      • 特殊行为(Cb): 如交警手势等直接影响驾驶决策的行为

    • 场景总结: 生成high-level的综合性描述，如"当前车辆正以恒定速度行驶，前方道路左侧有3名施工人员"

  • 多层级规划
    在这里插入图片描述

    • 元动作生成: 从17类预定义动作中选择，如减速/左转/换道等，形成序列A={a1，a2,a3…}

    • 决策描述: 细化动作为三元组(动作A+对象+S 时长D)，例如"等待(A)行人(S)通过后(D)加速"

    • 轨迹生成: 输出未来时段内的路径点，Δt时间间隔为
      在这里插入图片描述

    • 执行流程: 先通过语言交互生成粗粒度策略，再逐步细化为可执行轨迹

快慢双系统

在这里插入图片描述

  • 系统构成:
    • DriveVLM: 纯VLM系统，通过思维链(CoT)机制实现2Hz低频推理
    • DriveVLM-Dual: 融合传统AD模块(3D感知+轨迹规划)实现30Hz高频输出
  • 感知匹配:
    • 通过改进IoU算法(αIOU > t)对齐VLM识别的关键对象O_critical与3D检测结果O_3d
    • 匹配对象用于增强提示，未匹配对象单独处理
  • 轨迹优化:
    • 低频轨迹Wslow作为传统规划器的初始解
    • 优化公式：f为附加特征
      在这里插入图片描述
  • 实时性: 在Orin平台实现0.3s/场景的推理速度，与传统AD系统相当

总结

  • 核心价值:

    • 解释性: 通过场景描述和分析提供决策依据（如"因右侧警车需左偏"）
    • 数据增强: 利用GPT-4生成多样化动作序列（如4种变道方案）
    • 评估体系: 采用GPT-4V量化评估场景描述的准确性（相似度评分机制）

  • 实验表现:

    • 在SUP-AD数据集上，Qwen驱动的DriveVLM在场景描述(0.71)和元动作(0.37)指标显著优于GPT-4V
    • nuScenes测试中，Dual系统将3s碰撞率从0.35%降至0.10%，L2误差降低37%

  • 未来方向:

    • 数据获取: 构建自动化pipeline挖掘长尾场景
    • 系统融合: 探索中间层特征交互而不仅是最终轨迹融合
    • 实时优化: 平衡VLM推理质量(1.5s/场景)与实时性要求(0.3s/场景)
自动驾驶大模型---视觉语言模型（VLM）与双系统融合
智能汽车人的博客
05-09 1047
DriveVLM是理想汽车联合清华赵行团队研发的自动驾驶系统方案，它通过结合视觉语言模型（VLMs）来提升对复杂交通场景的理解和规划能力，是理想汽车最新一代端到端+VLM智驾方案的核心构成。DriveVLM 的设计理念是模仿人类驾驶员在复杂环境中的决策过程，通过模拟“思维链”（Chain-of-Thought）机制，实现对场景的深入理解和策略规划。该系统由三个关键的推理模块组成：场景描述、场景分析和分层规划。场景描述模块能够用语言描述驾驶环境并识别场景中的关键对象。
端到端自动驾驶VLA模型：技术解析与模型设计
a8598671的博客
03-26 2370
目前大语言模型较为成熟，因此无论是VLM或者VLA模型都是以大语言模型为基础的。MLLMs 拥有两大优势：一是训练数据来自大规模互联网，拥有广泛的“世界知识”；二是具备强大的推理能力（如 CoT chain-of-thought），这是现有驾驶模型难以具备的。EMMA 基于多模态大语言模型构建，能够直接将原始摄像头传感器数据映射为多种驾驶相关输出，包括规划轨迹、感知目标以及道路图结构等。
LLM应用于自动驾驶方向相关论文整理（大模型在自动驾驶方向的相关研究）
qq_54556560的博客
04-27 1000
1、《HILM-D: Towards High-Resolution Understanding in Multimodal Large Language Models for Autonomous Driving》2023年9月发表的大模型做自动驾驶的论文，来自香港科技大学和人华为诺亚实验室（代码开源）。论文简介：本文提出HiLM-D方法，通过整合低分辨率推理分支（LR-RB）和高分辨率感知分支（HR-PB），解决多模态大语言模型（MLLMs）在自动驾驶任务中因低分辨率输入导致的小物体漏检和显著物体过于关
入行自动驾驶大语言模型，这80篇论文不得不读
CV_Autobot的博客
08-05 1186
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线今天自动驾驶之心团队为大家分享大语言模型结合自动驾驶的文章盘点！近80篇论文共九大方向！如果您有相关工作需要分享，请在文末联系我们！自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询>>点击进入→自动驾驶之心『大语言模型』技术交流群编辑 | 自动驾驶之心写在前面...
51c自动驾驶~合集46
whaosoft~aiotの开发板商城
01-12 1496
我自己的原文哦~ https://blog.51cto.com/whaosoft/13050104三维空间占有率（3D Occupancy）预测的目的是预测三维空间中的每个体素是否被占有，如果被占有，则对应的体素将被标记。3D Semantic Occupancy是在三维空间内同时编码占用状态和语义信息，成为描述自动驾驶 3D 场景的一种极具吸引力的表示方式。而自动驾驶世界模型（World Model）具备对真实物理世界的理解能力，基于一些历史信息/状态，能够预测未来时刻的场景变化甚至agents的状态
【笔记】自动驾驶预测与决策规划_Part9_数据驱动前沿算法与发展趋势
qq_39764867的博客
12-02 1761
1.端到端自动驾驶 2.自动驾驶与多模态
智能驾驶挑战课题分享
weixin_44133327的博客
04-12 562
城区难例场景中，交互决策&风险预测类问题的占比高达75%以LLM/VLM多模态大模型为核心的自动驾驶推理、决策、规划基于LLM & Prompt工程的决策规划(2023)：Drive Like a Human(上海AI)、LanguageMPC(清华、港大)Finetune LLM/VLM的决策规划(2023)：DriveGPT4(港大、诺亚)、 GPT-Driver(清华)端到端+LLM的决策规划(2024)：DriveLM (上海AI)、DriveVLM (理想)技术挑战。
51c自动驾驶~合集42
whaosoft~aiotの开发板商城
12-20 1602
现有激光雷达语义分割的SOTA方法通常包含专门为机械旋转激光雷达设计的归纳偏置。这限制了模型在其他类型激光雷达技术中的通用性，并使超参数调整变得更加复杂。为了解决这些问题，上海交通大学团队提出了一种通用的框架SFPNet，用稀疏焦点机制代替窗口注意力机制，以适应市场上流行的各种类型的激光雷达。SFPNet能够提取多层上下文信息，并使用门控机制动态聚合不同层次的信息。作者还提出了一种针对工业机器人应用场景的新型混合固态激光雷达语义分割数据集S.MID。
51c自动驾驶~合集43
whaosoft~aiotの开发板商城
12-27 1732
我自己的原文哦~ https://blog.51cto.com/whaosoft/12930230上交大最新ChatDyn：一句话操纵三维动态理解和生成真实的三维虚拟世界是空间智能的核心。所生成的三维虚拟世界能够为自动驾驶、具身智能等AI系统提供高质量闭环仿真训练场，高效提供源源不断的训练数据，并以极低成本合成罕见情景进行测试。目前，虽然我们有了Diffusion,三维虚拟世界的画质呈现大幅提升，但是虚拟世界中前景物体交互行为的一致性、可靠性、可控性仍然很低，限制了这一领域取得实质性突破。为了突破现有困
技术突破与落地应用：端到端 2.0 时代辅助驾驶TOP10 论文深度拆解系列【第六篇（排名不分先后）】
LIUMAO99的博客
06-24 645
DiMA 框架通过多模态大语言模型的知识蒸馏，在自动驾驶领域实现了 “高效推理” 与 “鲁棒决策” 的关键平衡。其技术创新不仅为解决长尾场景难题提供了可行方案，更开创了跨模态知识迁移的新范式。随着模型架构的持续优化与行业应用的深入，DiMA 有望成为推动自动驾驶从 “特定场景” 迈向 “全场景” 的核心技术引擎，为智能出行的未来奠定坚实基础。
51c自动驾驶~合集55
whaosoft~aiotの开发板商城
05-25 1437
我们研究了标记化和表示技术，关注 VLA 对视觉和语言信息的编码。谷歌在 2023 年推出 RT-2，作为里程碑式的 VLA 模型，统一视觉、语言和动作标记，将机器人控制视为自回归序列预测任务，使用离散余弦变换（DCT）压缩和字节对编码（BPE）离散化动作，使新对象处理性能提高 63%。VLA 模型作为多模态人工智能系统，统一视觉感知、语言理解和物理动作生成，使机器人或 AI 智能体通过端到端学习解释感官输入、理解情境并自主执行任务，弥合早期系统中视觉识别、语言理解和运动执行间的脱节，突破其能力限制。
51-27 DirveVLM：自动驾驶与大型视觉语言模型的融合
AIgraphX
03-07 1668
本文偏工程性质，以点带面，可以窥视到很多的东西。DriveVLM是一种新颖的自动驾驶系统，旨在针对场景理解挑战，利用最近的视觉语言模型VLM，在视觉理解和推理方面表现出非凡的优势。DriveVLM模型具有三个关键模块：场景描述、场景分析和分层规划。
持续学习、适应和改进：自动驾驶的dual-process方法
yorkhunter的博客
07-22 1185
24年5月来自浙江大学、上海AI实验室和华东师范大学的论文“Continuously Learning, Adapting, and Improving: A Dual-Process Approach to Autonomous Driving”。
论文阅读DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
yang_daxia的博客
04-11 1546
DriveVLM是一种结合了自动驾驶技术和大型视觉语言模型（VLMs）的系统，旨在提高自动驾驶车辆在复杂和长尾场景下的理解能力和规划能力。该系统通过引入一种特殊的思维链（Chain-of-Thought，CoT）推理过程，将场景描述、场景分析和层级规划三个关键模块结合起来，以对应传统的感知、预测和规划流程。此外，DriveVLM-Dual作为一种混合系统，结合了DriveVLM和传统自动驾驶流程的优势，以弥补VLM在空间推理和计算需求方面的局限性。
在自动驾驶中ESKF实现GINS时，是否将重力g作为变量考虑进去的目的是什么？
曾经也曾立志
08-22 846
特性不加入重力变量加入重力变量本质一种开环策略。重力是一个固定的输入，如果这个输入有误，误差会直接进入系统并传播。一种闭环策略。重力是一个被观测和反馈校准的变量，系统对初始误差和模型误差具有自校正能力。适用场景IMU精度极高（战术级）、应用场景简单（如始终水平路面）、或对计算资源极度敏感的场合。自动驾驶的主流选择。尤其适用于消费级、汽车级IMU，面对复杂路况和全球应用，追求更高鲁棒性和精度的系统。推荐度不推荐用于高性能自动驾驶系统。它是一种简化模型，牺牲了精度和鲁棒性。强烈推荐。
提升自动驾驶 BEV 感知能力的新框架：BEVCon 对比学习
FlyDremever
08-22 903
在自动驾驶技术领域，**鸟瞰图（BEV）感知**是实现环境精准理解的核心任务。它能够将多相机采集的二维图像特征转换为三维鸟瞰视角的特征表示，为决策系统提供全局空间信息支持。然而，现有 BEV 感知方法普遍面临两大关键挑战：视图转换模块存在梯度传播扭曲问题，以及特征与标注之间存在空间对齐误差。近期，一项研究提出了名为**BEVCon**的对比学习框架，该框架无需依赖外部数据，就能显著提升多种 BEV 感知模型的性能。本文将深入解读这一创新方法。
Tesla自动驾驶域控制器（AutoPilot HW）的系统化梳理
最新发布
Godspeed_zwh的博客
08-23 775
本文系统梳理了特斯拉自动驾驶硬件（HW1.0-HW4.0）的迭代历程，包括各代硬件配置、传感器升级和算力提升。从初代Mobileye EyeQ3方案，到NVIDIA Drive PX2平台，再到自研FSD芯片，特斯拉逐步实现了硬件自主化。最新HW4.0采用7nm工艺FSD二代芯片，算力达50TOPS，配备12个摄像头接口和自研4D毫米波雷达，显著提升了感知能力。文章详细对比了各代硬件的关键参数，并纠正了网络上常见的错误信息，为理解特斯拉自动驾驶技术演进提供了清晰框架。
自动驾驶汽车机器学习安全实用解决方案
NewCarRen的博客
08-20 1157
摘要：本文探讨了自动驾驶汽车中机器学习算法的安全挑战及其应对策略。文章首先指出当前汽车安全标准（如ISO 26262和ISO/PAS 21448）在应对机器学习特有的可解释性、验证和性能局限等问题上存在不足。通过系统分析机器学习与功能安全标准的五大差距（设计规范、透明度、验证、鲁棒性和监控），作者提出两类实用安全技术：1）基于不确定性估计、错误检测和分布外检测的运行时监控功能；2）通过域适应、多任务学习和数据增强提升模型鲁棒性。研究还讨论了对抗性攻击风险和用户体验设计的重要性，强调需要跨学科合作来确保自动驾
自动驾驶导航信号使用方式调研
eepii的博客
08-20 960
本文调研在给定导航信号后，如何在端到端架构下，利用导航信息引导轨迹生成。目前主流的方案可以分为2种。一种是将导航作为“前置引导”深度融入轨迹生成过程（导航前置型）；另一种则是将导航作为“后置评价”标准来筛选最优轨迹（导航后置型）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值