lovely_yoshino的博客

本文介绍了自动驾驶中重要的Occupancy预测任务及OpenOcc数据集。主要内容包括： OpenOcc数据集结构详解： 包含mini/trainval/test三个子集 数据组织分为图像(imgs)、真值(gts)和标注(annotations.json) 标注文件包含场景分割、相机参数和车辆位姿等信息 评测指标： 语义指标mIoU：评估分类准确性 几何指标IoU_geo：评估3D重建质量 详细解析了评估函数的具体实现 Occupancy框架概述： 典型流程包括图像编码、视角转换、BEV特征编码和预测头

MMDetection框架是商汤/上海AI Lab开源的目标检测框架，广泛应用于BEV任务。该框架基于Pytorch实现模块化设计，通过注册机制和Hook机制实现高效算法开发。在Occupancy网络应用方面，文章介绍了3D voxel到2D grid的投影方法及后处理策略。同时对比了不同传感器方案下的Occ算法：单目相机（OccupancyM3D）、双目相机（OccDepth）、激光雷达（RangeDet）和毫米波雷达（RODNet），分析了各方案的特点和实现原理。文章还涉及了BEV视角下的传感器融合应用

通过分析中的模型构建过程，理解了从配置文件到模型实例化的整个流程。构建过程的核心是通过build和等函数，逐步将配置文件解析并生成模型的各个模块对象，最终组合成一个完整的模型结构。这一过程涉及多个类和函数的调用，其中函数是生成对象的关键，它能够从配置字典中提取必要信息并生成对应的类实例。

随着Transformer爆火，也导致了许多以Transformer为主题框架的端到端网络的兴起，这也导致了传统自动驾驶模块化逐渐被取代，这里我们将围绕BEVFormer开始学习整体的架构，我们在上一讲《》中介绍了Encoder的各种操作，这一章节我们来简单的看一下Decoder以及loss求解。这也是我们BEVFormer的最后一节了。

随着Transformer爆火，也导致了许多以Transformer为主题框架的端到端网络的兴起，这也导致了传统自动驾驶模块化逐渐被取代，这里我们将围绕BEVFormer开始学习整体的架构，我们在上一讲《》中介绍了数据端输入。下面我们来继续学习在Encoder中如何做更进一步的处理空间交叉注意力机制以及时序自注意力机制。

随着Transformer爆火，也导致了许多以Transformer为主题框架的端到端网络的兴起，这也导致了传统自动驾驶模块化逐渐被取代，这里我们将围绕BEVFormer开始学习整体的架构，我们在上一讲《》中介绍了数据端输入。下面我们来继续学习图像特征获取以及特征编码。对应Header的代码是。

UniAD在之前的《》讲过。但是我们代码还没仔细研究，UniAD这部分的代码内容虽然代码不多，但是还是非常值得从这个代码开始研究整个端到端的流程的。

对于深度学习而言，通过模型加速来嵌入进C++是非常有意义的，因为本身训练出来的pt文件其实效率比较低下，在讲完后，这里我们将以作为例子，来向读者展示如何去跑CUDA版本的Fast-BEV，因为原项目问题比较多，所以作者适配了一个版本。这里最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的的GPU算力云平台。他们提供高性价比的4090 GPU，按时收费每卡2.08元，月卡只需要1.36元每小时，并附带200G的免费磁盘空间。

最近读了秦通大佬的最近的端到端的论文《》，对应的代码也在上开源了。这里最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的的GPU算力云平台。他们提供高性价比的4090 GPU，按时收费每卡2.08元，月卡只需要1.36元每小时，并附带200G的免费磁盘空间。暂时已经满足我的使用需求了，同时支持访问加速，独立IP等功能，而且关机不收费，项目搭建后可以快速的重启来完成代码运行。

对于深度学习而言，通过模型加速来嵌入进C++是非常有意义的，因为本身训练出来的文件其实效率比较低下，所以这里我们将以BEVDET作为例子，来向读者展示如何去生成trt，并完善engine加速。这里最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU，按时收费每卡2.08元，月卡只需要1.36元每小时，并附带200G的免费磁盘空间。暂时已经满足我的使用需求了，同时支持访问加速，独立IP等