【论文笔记】Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar

原文链接：https://arxiv.org/abs/2405.04662

1. 引言

目前的场景重建方法多依赖RGB或激光雷达数据。神经渲染方法主要依赖RGB图像，但其性能不会超过输入数据的质量（在极端天气或光照条件下会失效），而雷达对天气和光照具有鲁棒性。但是，使用稀疏且分辨率较低、俯仰角信息有限的雷达重建3D场景具有挑战。

本文在频域进行建模，以绕过计算复杂的体渲染和有限的分辨率。使用原始雷达波形数据作为监督，恢复检测功率、场景几何、距离和场景反射率的关系。

本文引入FMCW信号形成模型，可微地将特定距离的接收雷达功率分解为与占用和反射率有关的分量，可通过神经网络学习和预测。将场景几何与视角和与材料相关的反射率解耦，本文的方法可以重建密集场景几何并合成雷达波形，可直接预测特定距离的接收功率。

3. 雷达场（Radar Fields）

3.1 雷达信号形成模型

FMCW雷达发射的信号频率$f_{\tau }$随时间$t$变化，通常是锯齿形调制的chirp：
$$f_{\tau }(t)=\omega +\theta (t),\theta (t)=2\Delta f\cdot \text{mod}(\frac{t}{T_s},1)$$

其中$\omega$为恒定载波频率，$\theta (t)$为周期性锯齿函数，周期为$T_s$，半幅值$\Delta f$。

chirp反射会传感器时，距离伪$R$的物体引入的时延$t_d$会导致相移，从而接收波形$f_r$与发射波形$f_{\tau }$之间存在频率差：
$$f_r(t)=\omega +\theta (t-t_d),t_d=\frac{2R}{c}$$

此处为单个物体的情况，且假设物体静止，没有多普勒频移。

混频器和低通滤波器会处理两个信号，计算其瞬时频率和相位的差异，得到中频（IF）波形：
$$f_{IF}(t)=f_{\tau }(t)-f_r(t)=\theta (t)-\theta (t-t_d)$$

单目标情况下，IF为频率为$f_{IF}$的正弦信号，但存在多个物体时，IF信号为多个不同频率的正弦信号之和。使用快速傅里叶变换（FFT）得到任意距离下的目标：
$$P_r(b)=\sum _{n=0}^{N_b-1}IF(n)\cdot e^{-\frac{i2\pi bn}{N_b}},b=f_{I{F}_b}$$

其中$N_b$为频率区间（bin）的数量，每个区间$b$对应一个距离值$R_b$：
$$R_b=f_{I{F}_b}\frac{c{T}_s}{4\Delta f}$$

本文的目的是拟合原始雷达FFT信号，故需要预测区间$b$的检测功率$P_r(b)$，从而建立频域空间的波形。$P_r(b)$可建模为距离$R_b$处的返回功率，即
$$P_r(b)=\frac{P_t\cdot G^2\cdot \sigma }{(4\pi {)}^3{R}_b^2}$$

其中$P_t$为发射功率，$G$为天线增益，$\sigma$为分布式目标的总RCS值（与形状、材料和反射率相关）。

上式中的参数，除$\sigma$外均已知，但直接估计$\sigma$不足以进行几何重建。本文将$\sigma$中几何相关的部分与反射率和材料分量解耦：$\sigma =\alpha \cdot \rho \cdot \gamma$，其中$\alpha$为雷达波束截面上的物体大小（仅与物体几何相关），$\rho$为反射率，$\gamma$为物体的方向性。

3.2 隐式神经场表达

本文学习隐式神经模型，渲染二维雷达测量$P_r\in {\mathbb{R}}^{N_{\varphi }\times N_b}$，其中$N_b$为距离区间数，$N_{\varphi }$为水平角区间数。为每个网格预测RCS值（分解为截面积$\alpha$，和反射率与方向性的乘积$\rho \gamma$）。模型的输入为原始雷达序列，和来自GNSS的姿态。

本文使用两个神经场$f_{\alpha }$和$f_{\rho \gamma }$重建真实FFT数据，分别表示场景占用和反射系数。场$f_X$的条件为嵌入$X\in {\mathbb{R}}^d$。给定点$x\in {\mathbb{R}}^3$和视线方向$d\in {\mathbb{R}}^3$，场景分解可表达如下：
f X : { H ( x ) } → { X } 特征嵌入 f α : { X } → { α } 占用 f ρ γ : { S ( d ) , X } → { ρ γ } 反射系数 f_X:\{H(x)\}\rightarrow\{X\}特征嵌入\\ f_\alpha:\{X\}\rightarrow\{\alpha\}占用\\ f_{\rho\gamma}:\{S(d),X\}\rightarrow\{\rho\gamma\}反射系数 fX​:{H(x)}→{X}特征嵌入fα​:{X}→{α}占用fργ​:{S(d),X}→{ργ}反射系数

其中$H,S$分别为多分辨率哈希编码和球面谐波位置编码。

嵌入场 f X : { H ( x ) } → { X } f_X:\{H(x)\}\rightarrow\{X\} fX​:{H(x)}→{X}从哈希网格编码的位置中预测几何和材料特征$X$；场 f ρ γ : { S ( d ) , X } → { ρ γ } f_{\rho\gamma}:\{S(d),X\}\rightarrow\{\rho\gamma\} fργ​:{S(d),X}→{ργ}则将视线方向$d$通过球面谐波编码，预测反射率与方向性的乘积。

$\alpha$可以直接重建场景几何，也可和$\rho \gamma$相乘合成返回波形。注意本文模型无需体渲染，因为射线样本本身就是预测结果。

3.3 基于物理的重要性采样

由于雷达波束会随距离不断发散，因此无俯仰角分辨率的FMCW雷达也能通过整合波束内的信号捕捉3D信息。本文通过在雷达光束的椭圆锥内（由发散角定义）超采样射线，从而在3D内建模真实距离-水平角测量。

FMCW雷达不使用各向同性辐射天线，这导致波束会偏向特定方向，且增益在波束中心处最大，随波束发散而急剧降低。可将增益建模为角度偏移量的函数，使其影响返回功率。将水平角偏移量$a$和俯仰角偏移量$e$分开，建立两个函数$A(a),E(e)$。

训练时采样$N$个波束中心，在每个波束中心处均匀超采样$S-1$个射线，建立集合 S = { s 1 , ⋯   , s S } S=\{s_1,\cdots,s_S\} S={s1​,⋯,sS​}，每个射线$s_i$有角度偏移量$a_i,e_i$，其中$a_i\sim U(-A,A),e_i\sim U(-E,E)$，其中水平角范围和俯仰角范围分别为$2A$和$2E$。为每个射线分别预测RCS值${\hat{\sigma }}_i={\hat{\alpha }}_i\cdot {\widehat{\rho \gamma }}_i$，并根据函数$A(a),E(e)$取均值：
$$\hat{\sigma }=\frac{{\sum }_{i=1}^S{\sigma }_i\cdot A(a_i)\cdot E(e_i)}{{\sum }_{i=1}^S\cdot A(a_i)\cdot E(e_i)}$$

可使用$\hat{\sigma }$进一步计算返回功率。

3.4 训练

原始雷达波形为唯一监督。此外，对预测的占用进行正则化以保证其几何解释。

总损失$L$包括重建FFT损失$L_W$，以及占用正则化项$L_R$和$L_P$：
$$\begin{gathered} L={\eta }_W{L}_W+{\eta }_R{L}_R+{\eta }_P{L}_P \\ {L}_W=\frac{1}{N_{\varphi }{N}_b}\sum _{\varphi ,b}\Vert \frac{P_t\cdot G^2\cdot ({\hat{\alpha }}_{\varphi ,b}\cdot {\widehat{\rho \gamma }}_{\varphi ,b})}{(4\pi {)}^3{R}_b^4}-P_{r_{\varphi ,b}}\Vert \\ {L}_R=\frac{1}{BatchSize}\sum _{\varphi ,b}O(P_r{)}_{\varphi ,b}(\log (O(P_r{)}_{\varphi ,b})-\log ({\hat{\alpha }}_{\varphi ,b})) \\ {L}_P=std(\hat{\alpha }{|}_{O(P_r)>0.5})+std(\hat{\alpha }{|}_{O(P_r)<0.5}) \end{gathered}$$

其中$L_R$保证学到的场景几何与原始信号推导的场景几何对齐。可使用基于贝叶斯更新规则和遮挡模型的占用预测算法$O(P_r)\in {\mathbb{R}}^{N_{\varphi }\times N_b}$从2D原始雷达信号预测占用似然。$L_P$迫使占用双峰分布，从而保证空空间被正确建模，并移除漂浮物伪影。

为避免过拟合或陷入局部极小，本文使用由粗到细的优化过程。多分辨率哈希网格编码$H(x)$添加掩膜如下：
$$H(x)=\{\begin{array}{ll}H(x)& 若\frac{i}{|\gamma |}<0.4+0.6(\sin (\frac{\text{epoch}}{\text{max.epoch}}))\\ 0& 否则\end{array}$$

这样可逐步为模型提高网格分辨率，从而避免训练早期的高频特征中积累重建噪声。

本文在自制数据集上，从BEV占用重建、2D新视图合成以及3D几何重建方面进行评估。BEV占用重建方面还使用预测点云和真实点云之间的倒角距离（CD）和相对倒角距离（RCD）。3D几何重建的真值来自积累的激光雷达点云与高置信度的雷达预测。
（1）多帧积累的点云过于稀疏，无法生成可靠的占用网格图，只能保留传感器附近的大型结构；此外，无法从2D点云中获取3D线索。
（2）本文方法使用FFT数据使得重建场景成为可能，且重要性采样可以从无俯仰角分辨率的数据提取3D信息。