VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection(VoxelNet模型)

前言 本文首发于公众号【3D视觉工坊】，原文请见VoxelNet阅读笔记 主要思想和创新点 三维点云中目标的精确检测是许多应用中的核心问题，如自主导航、管家机器人和增强/虚拟现实等。为了将高度稀疏的激光雷达点云与区域建议网络（RPN）连接，大多数现有的工作都集中在手工制作的特征表示上，例如，鸟瞰图投影。 这项工作消除了人工特征工程对三维点云的需求，提出了VoxelNet，一种将特征提取和box预测...

PV-RCNN提出了一种创新的3D物体检测框架，将体素CNN的高效性与PointNet的灵活性相结合。该方法通过两个核心模块：Voxel-to-Keypoint场景编码将多尺度体素特征聚合到关键点，以及Keypoint-to-Grid RoI特征抽象为每个提案提取丰富上下文特征。在KITTI和Waymo数据集上的实验表明，该方法显著优于现有技术，特别是在中远距离检测上。PV-RCNN为两阶段3D检测器提供了一个高效且精确的新范式，成为该领域的重要里程碑。

声明 原文链接 摘要 为了将高度稀疏的LiDAR点云与区域提案网络（RPN）连接起来，大多数现有的工作都集中在手工制作的特征表示上，用于检查鸟瞰投影。本文消除了对3D点云进行手动特征工程的需求，并提出了VoxelNet，这是一种通用的3D检测网络，可将特征提取和边界框预测统一到一个单级，端到端可训练的深度网络中。 VoxelNet将点云划分为等间距的3D体素，并通过新引入的体素特征编码（VFE）层将每个体素中的一组点转换为统一的特征表示。 通过这种方式，点云被编码为描述性的体积表示，然后将其连接到RPN以生

准确检测 3D 点云中的物体是许多应用的核心问题，例如自主导航、家政机器人。将高度稀疏的 LiDAR 点云与区域提议网络（RPN），在这项工作中，我们提出 VoxelNet，一个通用的 3D 检测网络， 将特征提取和边界框预测统一为一个单阶段、端到端的可训练深度网络。VoxelNet 将点云划分为等间距的 3D 体素，并通过引入体素特征编码（VFE）层转换每个体素内的一组点，引入的统一特征表示。这样，将点云编码为描述性体积表示，然后将其连接到RPN以生成检测。........................

2.point-wise input:把Vin中的每个点pi^送至fully connected network（FCN）中提取特征，实际上做了个升维操作，原本pi^长度为7，升维后变成了长度为C1，自此点也就变成了特征fi，tensor也从（N，35，7）变成了（N，35，C1）；1.预处理：找出V里面的质心点（vx,vy,vz)，计算其他点对质心的偏移offset，将V更新为Vin ，tensor从（N，35，4）变成了（N，35，7）；tensor为（N，35，4),N为非空体素个数。

摘要 这篇论文提出了一种将计算机视觉中常用的滑动窗口（sliding window）方法应用于三维数据的有效方案。 具体来说，该问题的稀疏性通过投票方案（voting scheme)得以利用，从而能够在任何方向上对所有假定的对象位置进行搜索。 这个投票方案在数学上等价于一个稀疏特征网格上的卷积，因此能够在全3D中处理任何点云(point cloud)，而不管构造它所需的有利点（vantage po...

Object DetectionImage Based Object DetectorPointCloudVoxelNet & PointPillarsPointRCNN Image Based Object Detector Object Detection Object Location Object Classification Object Detection Difficulties Image Occlusion Scale Class imbalance Rotation

1、 为什么要做这个研究（理论走向和目前缺陷） ? F-PointNet过度依赖2D检测的结果，且不能很好出遮挡重叠问题。 2、 他们怎么做这个研究 （方法，尤其是与之前不同之处） ? 先用2D分割网络滤除3D点云中的背景点以节约计算量和减少无用3D候选框的预测，然后用PointNet++对每个前景点中预测3D候选框，同时用也用PointNet++对所有原生点云中的每个点提取一个特征。根据已经预测的3D候选框，找到这个候选框里的所有的点特征输入到第二阶段网络（又是一个简版的PointNet++）预测最终的3

文章目录一. 介绍Voxel-base 方法的缺点Point-base 方法的缺点二. PV-CNNVoxel-Based Feature AggregationPoint-Based Feature TransformationFeature Fusion三. 实验效果Object Part Segmentation Visualization四. 结论 论文链接：PV-CNN 代码链接：Gi...

文章目录1. 概要2. 动机3.方法3.1 Point分支3.2 Voxel分支3.2.1 正则化 （Normalization）3.2.2 体素化（Voxelization）3.2.3 特征聚合（Feature Aggregation）3.2.4 去体素化（Devoxelization）3.3 融合4. 效果4.1 部件分割对比4.2 场景分割 比对4.3 目标检测4.4 可视化分析4.5 效率分析5. 思考6. 参考 1. 概要 会议：NIPS19 spotlight 论文：https://arxiv.

Point-Voxel CNN for Efficient 3D Deep Learning(PVCNN) 摘要 我们介绍了Point-Voxel CNN（PVCNN），可进行高效，快速的3D深度学习。以前的工作使用基于体素或基于点的NN模型处理3D数据。但是，这两种方法在计算上都是低效的。基于体素的模型的计算成本和内存占用量随输入分辨率的增加而立方增长，从而使其无法扩展分辨率。对于基于点的网络，最多有80％的时间被浪费在构造稀疏数据上，这些稀疏数据的内存局部性很差，而不是实际的特征提取。在本文中，我们提出

首先，本文是基于点云，并且将点云处理成体素的3D目标检测网络。本文提出了一种基于体素的特征提取方法，将点云中点的信息与体素代表的局部信息融合，最终得到更具有表征能力的特征，该特征经过3D卷积用于RPN网络中得到目标检测的结果。

三维点云深度学习研究综述 论文：Deep Learning for 3D Point Clouds: A Survey 作者：Yulan Guo 时间：2019-12 引言 动机： Point cloud learning （点云学习）由于在视觉、自动驾驶、机器人等方面的广泛应用，近年来受到了广泛的关注。最近，随着点云的深度学习变得更加兴旺，人们提出了许多方法来解决这一领域的不同问题。为了促进未来的研究，本文对点云深度学习方法的最新进展进行了全面的综述。 挑战： 深度学习技术目前已经成为成功解决各种二