毫米波雷达成像论文阅读笔记 | CVPR 2023, Azimuth Super-Resolution for FMCW Radar in Autonomous Driving

原文链接： CVPR 2023 | Azimuth Super-Resolution for FMCW Radar in Autonomous Driving

CVPR 2023 | Azimuth Super-Resolution for FMCW Radar in Autonomous Driving

毫米波雷达成像论文阅读笔记：CVPR 2023, Azimuth Super-Resolution for FMCW Radar in Autonomous Driving

• Y.-J. Li, S. Hunt, J. Park, M. O’Toole, and K. Kitani, “Azimuth Super-Resolution for FMCW Radar in Autonomous Driving”.

0 Abstract

• 解决了 FMCW MIMO mmwave radar的低角度分辨率问题

• 背景

  • mmwave radar通常仅10根天线左右，角度分辨率很低

• 解决方案：

  • 1 提出了ADC-SR (ADC数据超分辨模型)：使用来自少数接收器的信号预测额外的信号

    ✅ 特点：与baseline相比性能相当，但参数减少50倍

  • 2 将ADC-SR与标准的RAD超分辨模型结合，获得混合超分辨率模型 (Hybrid-SR)

    ✅ 性能可以大幅提高

• 实验结果

  • 在Pitt-Radar数据集和RADIAI数据集上进行了实验：证明了ADC超分辨的重要性
  • 检测结果：mAP提升约4%

• 代码/数据链接：link

1 Introduction

P1: mmwave雷达的优势和挑战

• 优点：自动驾驶中，应对恶劣天气
• 缺点：角度分辨率低 （受天线尺寸/成本限制）

P2: 直接对ADC进行超分辨的动机

• RA / RAD图仅保留了幅度信息，无法体现element之间的关系信息
• 缺少直接处理ADC数据提升分辨率的工作

P3: 本文的贡献

• 直接对ADC天线数据进行超分：
  • 预测额外的天线的信号
  • 从而提升角度分辨率
• ADC-SR模型能够与现有RAD-SR模型结合，大幅提升成像性能
• 实验表明：所提出方法能够提升自动驾驶下游任务的性能

贡献点总结

• 提出了ADC-SR模型，能够从少数天线的信号预测额外的天线的信号
• 提出了Hybrid-SR模型，将ADC-SR模型与现有的RAD-SR模型结合
• 制作了Pitt-Radar数据集，包含了ADC信号
• 在下游任务上进行测试，提升了检测性能

2 Related Work

2.1 Radar方位角 super-resolution

• 传统方法：
  • 将方位角看作 目标分布 和 天线方向图 的 卷积 $\Rightarrow$ 解卷积方法 (维纳滤波、截断SVD, Tikhonov正则化，Richardson–Lucy，IAA)
  • 正则化约束 $\Rightarrow$ 分裂 Bregman 算法 (SBA), 稀疏正则化
• 深度模型
  • GAN: 微多普勒图像超分辨率
  • UNet: 雷达天气图
• 但现有方法/网络都是对RA图/FFT超分辨，很少直接对ADC信号超分辨

2.2 Radar for autonomous driving

• 类型1：MIMO配置雷达数据集
  • 有速度特征
  • 但角度分辨率低
• 类型2：扫描配置雷达数据集
  • 角度分辨率高
  • 但是没有速度特征
• 本文：提升MIMO雷达的角度分辨率，同时保留速度特征

3 Radar Datasets

3.1 Current datasets

• 两种类型：

  • 扫描雷达：不提供速度信息，但是角度分辨率高 —— 直接给出RA图，无ADC

    ✅ 高分辨率 + 360FOV

    ❌ 无多普勒特征 / ADC信号，仅有RA图

  • MIMO雷达：提供速度信息，但是角度分辨率低 —— 可提供ADC

    ✅ 有多普勒特征

    ❌ 但只有RADIaI提供了ADC

  • 总结如下表

• 扫描雷达
  • 高分辨率 + 360 FOV

3.2 Pitt-Radar Dataset

• 地点 ：Pittsburgh, PA, USA

• 平台 ：Lexus SUV

• 传感器

  • 立体摄像头: 15Hz
  • 激光雷达: 10Hz
  • 高精度GPS: 25Hz
  • TI AWR 1843 BOOST: 30Hz

• 包含高精度时间戳，离线同步

• 与RADIAI的区别：

  • 雷达使用了多种不同的设置 (e.g., 128/256/512 samples per chirp)

4 The Proposed Approach

4.1 Problem Formulation and Overview

• 总的框架：Hybrid-SR, 包括两个部分：
  • ADC-SR: 从少数天线的信号预测额外的天线的信号
  • RAD-SR: 从RAD图预测高分辨率的RAD图
• ADC-SR
  • 输入：少数天线的信号 $I_{ADC}\in {\mathbb{C}}^{N_{rec}\times N_{chirp}\times N_{adc}}$
  • 目标输出：来自更多接收天线的ADC信号：$I_{ADC}^{SR}\in {\mathbb{C}}^{N_{rec}^{\ast }\times N_{chirp}\times N_{adc}}$
  • 网络：ADC-ConvNet
• RAD-SR
  • 输入：RAD图 $I_{RAD}\in {\mathbb{C}}^{N_{Range}\times N_{Azimuth}\times N_{Doppler}}$
  • 目标输出：高分辨率的RAD图 $I_{RAD}^{SR}$
  • 网络：RAD-Unet

Note: 可单独apply Hybrid-SR, ADC-SR, RAD-SR以提升分辨率

4.2 Downsanpling by removing transmitters

• 数据集生成方式

  • 从MIMO雷达接收数据 $I_{A D C}^{SR} $中，去掉一些接收天线的数据 获得 $I_{A D C}^{LR} $

• 根据MIMO采样理论 (论文中说法是 the FOV depends on the distance between each receiver (density of the receivers) [11], the density needs to be the same after removing the receivers.)

  • $\Rightarrow$ 应该去掉下图TX1或TX3对应的接收信号

4.3 Azimuth super-resolution from ADC signals

• 相比于traditional image SR, ADC SR更加困难：
  • 1 信号是复数
  • 2 恢复missing signals和 classical pixel upsample 是完全不同的
• 解决方法：
  • 1 复数 $\Rightarrow$ 将实部 和 虚部 视作 两个channel
  • 2 使用 ADC-SRNet ($E_{ADC}$), 输出$F_{adc}^{SR}=E_{ADC}\left(I_{adc}^{LR}\right)\in$${\mathbb{R}}^{2\ast S\ast N_{rec}\times N_{chirp}\times N_{adc}}$ (S为upsampling factor)
  • 3 使用pixel shuffling function $g$ to reshape the $F_{adc}^{SR}$ into $I_{A D C}^{SR} $:\ast \ast <fontcolor=greenface="ComicSansMS,STXinwei">$\Rightarrow$** $I_{adc}^{SR}=g\left(E_{ADC}\left(I_{adc}^{LR}\right)\right)\in {\mathbb{C}}^{S\ast N_{rec}\times N_{chirp}\times N_{adc}}$
• 损失函数：
  • ${\mathcal{L}}_{ADC}={\mathcal{L}}_2\left(g\left(E_{ADC}\left(I_{\text{adc }}^{LR}\right)\right),I_{adc}^{HR}\right)$,

4.4 Azimuth super-resolution from RAD maps

• $I_{rad}$的定义：

  • $I_{rad}=\Vert FFTs\left(I_{adc}\right)\Vert \in$${\mathbb{R}}^{N_{\text{Range }}\times N_{\text{Azimuth }}\times N_{\text{Doppler }}}$

• 具体步骤：看作一个3D image to 3D image 的工作

  • 网络：RAD-Unet ($E_{RAD}$)
  • $I_{rad}^{SR}=E_{RAD}\left(I_{\text{rad }}^{LR}\right)\in {\mathbb{R}}^{N_{\text{Range }}\times N_{\text{Azimuth }}\times N_{\text{Doppler }}}$.

• 损失函数：${\mathcal{L}}_{RAD}={\mathcal{L}}_2\left(E_{RAD}\left(I_{\text{rad }}^{LR}\right),I_{\text{rad }}^{HR}\right)$,

• 混合模型 Hybrid-SR: combining ADC-SR and RAD-SR
  • $I_{rad}^{SSR}=E_{RAD}\left(\Vert FFTs\left(I_{adc}^{SR}\right)\Vert \right)$, while $I_{\text{rad }}^{SR}=\Vert FFTs\left(I_{adc}^{SR}\right)\Vert \in {\mathbb{R}}^{N_{\text{Range }}\times N_{\text{Azimuth }}\times N_{\text{Doppler }}}$.
  • 损失函数：${\mathcal{L}}_{\text{Hybrid }}={\mathcal{L}}_{ADC}+{\mathcal{L}}_{RAD}$.
• 分析：
  • ADC-SR更有效
  • RAD-SR对应的输入更加鲁棒

4.5 Adapting our model to object detectors

• 使用现有网络 (RAD-Det) 进行目标检测

5. Experiments

5.1 Datasets

• 训练和测试：
  • Pitt-Radar: 10000 ADC with 3T4R (5000 training 5000 testing)
  • RADIal: 25000 ADC with 3T4R (the first 5000 for training, the second 5000 for testing)
• 目标检测
  • RADDet: 3D RAD annotation

5.2 Settings and evaluation protocols

• Azimuth super-resolution

  • LR: only T2
  • SR: T1, T2, T3
  • 评价指标：PSNR, MSE

• Object detection

  • apply the super-resolution model on the RadarResnet detector proposed by RADDet
  • 评价指标：mAP with different IOU

5.3 Implementation details

• ADC samples
  • 128 / 256 / 512
• lr: 0.001
• batch size: 4
• 2080 Ti

5.4 Results and comparisons in super-resolution

• RA maps (表2)

  • 现有的强二维图像超分辨率模型，如 SRGAN 或 Unet 无法对RA map进行超分辨率
  • 3D SRGAN 将 RAD 图作为输入，但与 RADSR 相比，它仍然无法重建 2D RA 图 $\Rightarrow$ 说明该任务更像 image to image, 而不是上采样超分
  • ADC-SR 实现了与 RAD-SR 相当的性能，而我们的混合 SR 组合 ADC-SR 通过考虑 ADC 信号表现出卓越的重建性能。 这表明使用 ADC-SR 可以改善重建结果。

• RAD maps (表3)

  • 3D SRGAN fails to reconstruct the RAD maps
  • ADC-SR + RAD-SR in Hybrid-SR >> RAD-SR (ADC-SR 可以改善重建结果)

• 参数量比较
  • ADC-SR最小

5.5 Results and comparisons in object detection

• 如表5表6所示
  • 使用IFFT获得原始ADC信号

• 结果

  • 1 directly plugging in our models without fine-tuning the detector already brings performance gains
  • 2 fine-tuning the detector further improve the performance by a large margin

• 结论

  • 所提方法有效

5.6 Visualization of RA maps

• 效果明显
  • 如下图所示

6. Conclusion

• ADC-SR + RAD-SR $\Rightarrow$ Hybrid-SR
• Pitt-Radar