论文阅读-Event-based Visible and Infrared Fusion via Multi-task Collaboration

一、前言

可见光图像与红外图像融合（VIF）通过结合热红外图像与可见光图像的丰富纹理，提供了一个全面可靠的场景描述。然而，传统的VIF系统可能在极端光照和高动态运动场景中捕获过曝或欠曝的图像，进而导致融合结果下降。如下图的左侧图像所示。

为解决上述提到的问题，在本文中提出事件驱动的可见光和红外融合系统，在该系统中采用了可见光事件相机代替传统的基于帧的相机。可见光事件相机具有低延迟和高动态范围的特点，在极端光照和高速运动的场景下，事件相机都具有较高的鲁棒性。为了提高多模态数据融合质量，作者开发了一个多任务协作框架，该框架会同时执行基于事件的可见光纹理重建、事件引导的红外图像去模糊和红外图像-可见光图像融合。利用任务间的协同作用，增强融合效果，并设计最小-最大互信息优化来实现更高的融合质量。

二、方法

2.1 问题定义

假设有一个连续的事件流$\epsilon$，它的时间范围在区间$[t_0,t_1]$内，在这段事件流中存在一组运动模糊帧段Iir={ Ii∣i=1,2,...,M}I_{ir}=\{I_i|i=1,2,...,M\}Iir​={ Ii​∣i=1,2,...,M}。每个$I_i$都有一个曝光时间窗口$[t_i,t_i+\delta ]\in [t_0,t_1]$,其中$\delta$是红外相机的曝光时间长度。$EVIF$的目标是为每个红外帧$I_{ir}^i$产生清晰的红外-可见光融合图像$I_f^i$。这项任务涉及事件流$\epsilon$中提取同步的可见光纹理和运动线索，并将其与$I_{ir}$集成，以创建对场景的清晰、全面的描述。

2.2 框架描述

图2展示本文提出的EVIF系统的整体框架。该框架联合完成三个任务（纹理重建、红外图像去模糊以及红外-可见光图像融合），每个任务都是通过特定的网络来实现。基于事件的纹理重建和图像去模糊在其他工作中已经进行了很好的研究。本篇工作采用E2VID 和EFNet作为任务相关的网络，重点放在如何协调他们之间的协同作用。首先，作者设计了一种跨任务事件增强的方法，旨在有效利用重建任务中提取到的有用的纹理特征。然后使用这些特征来辅助红外图像去模糊。最后从前两个任务中编码的特征被发送到融合网络，该网络采用双层最小-组大互信息优化机制来实现稳健的融合。

对于每个输入的模糊的红外图像$I_{ir}^i$，在曝光时间窗口内捕获的事件片段${ϵ}_{t_i}^{t_I+\delta }$被视为输入事件输入。在去模糊网络中，直接将${ϵ}_{t_i}^{t_I+\delta }$作为输入，而纹理重建网络则将${ϵ}_{t_i}^{t_I+\delta }$按事件分成$K$个片段处理，从而得到一组K个事件特征和重建的可见光图像。在融合过程中，仅使用中间第$\frac{K+1}{2}$个可见光图像。

2.3 跨任务事件增强

由于事件的去模糊网络的主要目的是从事件中揭示潜在的运动线索，因此事件中固有的纹理特征可能无法在去模糊网络中得到充分利用。考虑到这一点，作者提出了一个跨任务的事件增强方法。它旨在增强基于事件的红外图像去模糊网络中的事件纹理特征，主要方法是利用可见光纹理重建模型中学习到纹理特征。

跨任务事件增强模块的结构如图3所示，给定来自事件重建网络的$K$个事件特征{ Freci∣i=1,2,...,K}\{F_{rec}^i|i=1,2,...,K\}{ Freci​∣i=1,2,...,K},。为总结每个$F_{rec}^i$内的空间纹理，并同时考虑它们之间的相关性，使用了两个ConvGRU以双向递归的方式从$F_{rec}^i$中提取空间-时间特征：
$$\begin{gathered} S_f^{i+1},F_f^{i+1}=ConvGR{U}_1(S_f^i,F_{rec}^i) \\ {S}_b^{i-1},F_b^i \end{gathered}$$