高效多尺度网络与可学习离散小波变换用于盲运动去模糊
摘要
传统的单图像运动去模糊广泛采用粗到细的方案,但在深度学习中,现有的多尺度算法不仅需要复杂的模块融合低尺度RGB图像和深层语义信息,而且还要手动生成低分辨率的图像对,这些对的可信度不足。为此,我们提出了一种基于单输入多输出(SIMO)的多尺度网络,用于运动去模糊,简化了基于粗到细方案的复杂性。
为了改善多尺度架构带来的细节损失,我们结合了真实模糊轨迹的特性和可学习的离散小波变换模块,关注模糊到清晰图像的逐步变化中的方向连续性和频率信息。
总结而言,我们提出的MLWNet(带有可学习离散小波变换的多尺度网络)在多个真实世界去模糊数据集上都达到了优异的性能,无论是主观还是客观指标,以及计算效率。
引言
在频域引入变换,将其作为空间域变换的替代方案,帮助算法关注不同频段。本文考虑采用离散小波变换(DWT),理由如下:
- 许多先进的去模糊算法引入傅里叶变换(DFT)作为频率先验,用以识别和保留高频和低频信息[10, 19, 42]。与DFT相比,DWT更适合处理具有突发信号的图像[5]。
- 真实模糊和合成模糊在分布上差异很大[24]。真实模糊受摄像头快门时间影响表现出方向性[29],即模糊轨迹区域连续。而合成模糊轨迹不自然且不连续。利用DWT可以揭示模糊的方向性,区分不同方向上的变化,为去模糊提供有价值的指导。
为了让2D-DWT更贴合数据分布和特征空间,我们采用群卷积实现自适应数据分布,将特征空间从空间域转到小波域,产生不同频率和方向的子信号,再设计小波损失,通过自监督约