Context-Aware Image Inpainting with Learned Semantic Priors_IJCAI202

introduction

  为了恰当地对缺失内容和剩余内容之间的全局关系建模，我们将预处理的多标签分类(检测)模型的高级特征图作为语义监督*。这些特征映射包含多个对象的有区别的预先学习的语义信息，这有助于全局上下文理解。此外，由于借口任务主要集中于提取高级特征，它们提高了我们的模型对局部纹理和结构缺陷的鲁棒性。学习到的上下文特征被称为语义优先，

  我们通过图1中的k-means算法可视化了一个例子。据此，提出了一种新的上下文感知图像修复模型，该模型同时考虑了局部纹理一致性和全局语义一致性。我们方法的整个流程可以概括为两个阶段。在第一阶段，我们利用两个不同的编码器分别提取低层图像特征和学习高层语义先验。通过从借口任务对网络执行知识提炼，我们获得全局上下文表示。在第二阶段，学习的语义先验被空间地注入到图像特征中，以帮助图像完成。通过学习和利用语义先验，我们的方法(SPL)不仅增强了生成图像的局部一致性，而且有助于从剩余图像中推断缺失内容的结构。
  我们对图像修复的贡献可以总结如下:
我们表明从特定的语境任务中提取高级知识可以有助于理解全局上下文关系，因此对低级图像修复在语义上是有意义的。它不需要对图像修复数据集进行额外的人工标注。
我们提出了SPL，一种新的上下文感知图像修复模型，它自适应地将学习到的语义先验和局部图像特征合并到一个统一的生成网络中。它是以端到端的方式与语义优先学习者一起训练的。
SPL在三个标准图像修复数据集上实现了一流的性能。
各种分类检测任务可以用来提供语义监督。在本文的其余部分，我们主要使用多标签分类作为一个典型的借口任务，不失一般性。我们不直接在图像修复数据集上训练或微调这些模型，而是仅使用在开放图像数据集上预处理的现有模型

Method

  整体架