ECCV 2022 | 通过重新审视全局信息聚合提高图像恢复质量

论文链接：https://arxiv.org/abs/2112.04491

图像恢复任务，是指将受损（如带噪声/模糊）的图像恢复为清晰图像。这在日常生活中广泛出现，如手机拍摄的照片通常需要经过图像恢复算法对其进行去噪/去模糊等一系列处理之后，再显示给用户。

随着人工智能的崛起，深度学习也占领了图像恢复领域的高地：近年的模型如HINet[1], MPRNet[2], Restormer[3] 等等均在该领域取得了领先的性能。

本文首先介绍基于深度学习的图像恢复任务的流程背景，然后重新审视模型中常见的全局信息聚合操作并揭示现有方法中被大家广泛忽视的问题：训练和测试的不一致性。最后，我们会介绍一个简单的解决方法——测试时局部转换器（Test-time Local Converter, 简称TLC），通过缓解不一致性问题来提升模型性能。

背景：图像恢复任务流程

图1. 图像恢复任务训练/测试过程示意图

在实际应用中，用于图像恢复任务(如去模糊)的数据集通常由高分辨率图像组成。由于数据增广的需要和GPU显存的限制，通常的做法是用从高分辨率图像中裁剪的小块来训练模型。以GoPro数据集为例，MPRNet[2]在训练时使用从原图中裁剪出的256x256的小块（如图1. 上半部分所示），而在推理(inference)过程中，为了利用全图信息，训练好的模型会直接复原720x1280的高分辨率图像（如图1. 下半部分所示）。

所以，模型的输入在训练/推理的过程中存在