论文精度 —— 2018 CVPR《Generative Image Inpainting with Contextual Attention》

天使Di María

已于 2023-01-09 10:27:11 修改

阅读量977

点赞数 4

CC 4.0 BY-SA版权

分类专栏：人工智能论文精度 Inpainting 文章标签：计算机视觉人工智能深度学习

于 2022-08-26 21:58:08 首次发布

本文链接：https://blog.csdn.net/m0_51339444/article/details/126547546

Inpainting 同时被 2 个专栏收录

16 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

人工智能论文精度

10 篇文章

订阅专栏

本文详细介绍了2018年CVPR论文《Generative Image Inpainting with Contextual Attention》。文章采用WGAN-GP替代DCGAN，结合上下文注意力层进行图像修复，提出了一种分阶段的生成网络，以解决图像缺失区域的修复问题。通过在Places2、CelebA等数据集上的实验，展示了方法的有效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

总述

本篇论文采用的baseline不是CE，而是2017 ACM的《lobally and locally consistent image completion》，那篇论文以CE为baseline，引入了全局鉴别器和局部鉴别器。这篇文章提出了上下文注意力层，使得可以关注到距离缺失区域较为遥远的像素点；此外，作者摒弃了之前常用的DCGAN，而是使用创新地WGAN-GP，还采用了两个encoder，一粗一细。

一、方法详述

1. 网络与损失

作者是在《lobally and locally consistent image completion》的基础上进行改进的，输入输出的shape都相同，生成网络包含两个阶段，由粗到细进行补全，第一阶段的补全仅仅使用重建损失作为损失函数，卷积过程中借用了《lobally and locally consistent image completion》膨胀卷积的方法，实现初步的补全，然后再精细补全，损失函数所有改进，使用了重建损失和WGAN-GP联合损失，其中WGAN-GP损失使用全局的和局部的进行联合,这还是因为受到了《lobally and locally consistent image completion》的启发。由于使用了GAN，因此第二个网络有全局效果，使得整个补全内容与整个场景内容契合。
注：（1）感知损失虽然可能会使得补全结果有点模糊，但是可以使得内容贴切，是不可或缺的。
（2）作者觉得Perceptual loss, style loss and total variation loss没啥用