波恩大学最新开源:基于隐式神经网络NERF的室内激光雷达定位算法

点击进入—>3D视觉工坊学习交流群

论文:IRMCL: Implicit Representation-based Online Global Localization

论文地址:https://arxiv.org/pdf/2210.03113.pdf

代码:https://github.com/PRBonn/ir-mcl

作者单位:德国波恩大学

摘要

确定移动机器人的状态是机器人导航系统中重要的组成部分。在本文中,我们提出了一种使用2D激光雷达在室内场景下估计机器人姿态的方法,并探讨了如何将新型的场景表示模型整合到标准蒙特卡罗定位(MCL)系统中。在计算机视觉领域,神经辐射场 (Neural Radiance Fields, NeRF)是用一个隐式函数来表示环境。我们将NeRF这样的隐式环境表示扩展到移动机器人二维室内定位任务中,提出了一种神经占据场,使用神经网络来隐式的表示用于替代机器人定位任务中的二维地图。通过预训练的神经网络,我们可以渲染合成当前场景下任意机器人姿态所对应的的2D 激光扫描。基于该隐式地图,我们提出了一个观测模型来计算渲染和真实扫描之间的相似性,并将其集成到MCL系统中进行准确的定位。我们在一组自己收集的数据集和三个公开可用的数据集上进行评估。实验结果证明我们的方法可以准确高效地估计机器人的姿态,并在定位性能优于现有的方法。实验表明,所提出的隐式地图模型能够更准确的表示场景,从而提升了MCL系统中观测模型的性能。

项目代码:https://github.com/PRBonn/ir-mcl。

主要贡献

我们提出了神经占据场,一种隐式场景表示模型,在该模型之上提出了一个高性能的观测模型,并整合到基于2D 激光的全局定位系统之中;

我们通过多个数据集的实验评估,实验结果证明,与使用传统场景表示模型(例如:占据栅格地图,希尔伯特地图)相比,我们的方法在机器人全局定位方面具有竞争力的性能,且能快速收敛,并实时运行。

主要方法

隐式场景表示

我们利用一组已知准确姿态的2D激光数据作为训练样本。如下图所示,首先根据每一个样本的姿态和2D激光雷达的内参设置计算得到激光雷达每一条射线的方向,接着在每一条射线上均匀采样N个空间点。之后,神经网络将采样得到的每一个空间点p作为输入,并输出该空间点所对应的占据概率pocc

d521e0278be3063a17382f14d33f9609.png

最后,对于每一条射线,利用光线投射(ray-casting)算法根据采样点的深度m及其占据概率pocc进行渲染得到射线所对应的深度值:

871310fc754c0fc45dc76a98f075d836.png

47acb1fa07800af514561ee1761f593d.png

最终,估计出当前机器人姿态下可能会观测到的2D激光扫描。接下来,我们通过计算几何损失以及对预测的占据概率添加正则化来优化神经网络的参数。

几何损失是2D激光扫描的估计值和观测值之间的 L1损失:

1b095fd949690b2603f1f0011c1c9991.png

占据概率的正则化通过计算一个负对数似然来约束占据概率的预测值接近于1(被占据)或0(不被占据):

912be52e729a7248e0d0845713f1feef.png

最终,用与优化神经网络参数的损失函数为:

604f6c6ce8752e420aecabe12f034708.png

全局定位系统

当神经网络训练完成后,我们可以通过预测环境中任意机器人姿态所对应的2D激光观测。因此,我们将其整合到MCL系统之中,作为一个MCL系统的观测模型。MCL系统如下图所示,为了确定机器人当前的姿态,我们首先在当前场景下采样一定数量的机器人姿态,称之为“粒子”,如图中蓝色圆环所示。每一个粒子包含了一个假设的机器人姿态和一个权重。当机器人在环境中运行时,基于隐式表示的观测模型将每一个粒子的姿态作为输入,预测其在该姿态下的2D激光扫描,通过和真实的观测值进行比对来更新粒子的权重,并在每一迭代中移除低权重的粒子,保留高权重的粒子。重复该过程,粒子最终会收敛到真实姿态周围的一个小区域。我们最终通过对收敛后的粒子姿态进行加权平均后得到估计的机器人姿态。

9ee035b2a413ef34ddc45a3a4949c60d.png

主要结果

室内全局定位

我们将现有的蒙特卡洛定位算法作为基线,在我们收集的数据集上对比了全局定位的精度,实验结果如下所示。实验结果证明,对比于现有的室内定位算法,我们的方法在定位精度上达到了SOTA。此外,相比于之前的方法,我们的算法能更快的收敛。我们还补充了一个姿态追踪实验,用于证明我们的算法在不同量级的粒子数目下依然能表现出精确的定位能力。

0d9b144efb3fdc5d4992e80318c29d4b.png

501891db6d16509d5154ed8f7c96b7c6.png

100754467321872d7521e3dbb5d8e28b.png

观测模型

我们在三个经典的室内数据集(Freiburg Building 079, Intel Lab, MIT CSAIL)对我们的观测模型进行了评估。通过与基于栅格地图的观测模型进行对比,证明了隐式场景表示是一种更准确的地图表示方法。当训练数据较少时(如MIT CSAIL数据集),在预测没有包含在训练集中的区域时,隐式地图展现出来更好的泛化能力。

eee1ed4375014576bc89399a95ba188e.png

本文仅做学术分享,如有侵权,请联系删文。

点击进入—>3D视觉工坊学习交流群

干货下载与学习

后台回复:巴塞罗自治大学课件,即可下载国外大学沉淀数年3D Vison精品课件

后台回复:计算机视觉书籍,即可下载3D视觉领域经典书籍pdf

后台回复:3D视觉课程,即可学习3D视觉领域精品课程

3D视觉工坊精品课程官网:3dcver.com

1.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
2.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
3.国内首个面向工业级实战的点云处理课程
4.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
5.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
6.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
7.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

8.从零搭建一套结构光3D重建系统[理论+源码+实践]

9.单目深度估计方法:算法梳理与代码实现

10.自动驾驶中的深度学习模型部署实战

11.相机模型与标定(单目+双目+鱼眼)

12.重磅!四旋翼飞行器:算法与实战

13.ROS2从入门到精通:理论与实战

14.国内首个3D缺陷检测教程:理论、源码与实战

15.基于Open3D的点云处理入门与实战教程

16.透彻理解视觉ORB-SLAM3:理论基础+代码解析+算法改进

重磅!粉丝学习交流群已成立

交流群主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、ORB-SLAM系列源码交流、深度估计、TOF、求职交流等方向。

扫描以下二维码,添加小助理微信(dddvisiona),一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

2e987b71ffe295e8f8725218233daaf0.jpeg

▲长按加微信群或投稿,微信号:dddvisiona

3D视觉从入门到精通知识星球:针对3D视觉领域的视频课(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等)源码分享、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答等进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,6000+星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看,3天内无条件退款

18c847a0334a08a42fc542bb3e72f6ed.jpeg

高质量教程资料、答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值