图像检测系列之（15）图像分割（16）图像外插值 | ICCV2021生成对抗GAN汇总梳理...-CSDN博客

十五、图像分割

无监督的图像分割算法，由于光照变化和遮挡等干扰因素，对象边界效果并不理想。提出一种无监督的图像分解算法，获得鲁棒的内在表示。使用简单而说明性的合成示例和用于图像分割的基准数据集，证明所提出算法的有效性和鲁棒性。

提出 InSeGAN，无监督的 3D 生成对抗网络 (GAN)，用于在深度图像中分割刚性物体实例。使用合成分析方法，设计了一种新的 GAN 架构来合成多实例深度图像，并对每个实例进行独立控制。
InSeGAN 接收一组代码向量（例如，随机噪声向量），每个向量编码一个对象的 3D 姿态，该对象由学习的隐式对象模板表示。生成器有两个不同的模块。第一个模块，实例特征生成器，使用每个编码姿势将隐式模板转换为每个对象实例的特征图表示。第二个模块，深度图像渲染器，聚合第一个模块输出的所有单实例特征图并生成多实例深度图像。鉴别器将生成的多实例深度图像与真实深度图像的分布区分开来。为进行实例分割，提出一个实例姿势编码器，它学习接收生成的深度图像并为所有对象实例重现姿势代码向量。
为评估，引入了一个新的合成数据集“Insta-10”，它由 100,000 张深度图像组成，每个图像有 5 个来自 10 个类别的对象实例。在 Insta10 以及真实世界嘈杂深度图像上的实验表明，InSeGAN 实现了最先进的性能。

提出一种语义感知的新范式来执行图像外修复（image extrapolation），从而可以添加新的对象实例。此前方法局限于只能扩展图像中已存在的对象。但所提出的方法不仅关注（i）扩展已经存在的对象，还关注（ii）基于上下文在扩展区域中添加新对象。
对于给定的图像，首先使用语义分割方法获得对象分割图；分割图被输入网络以计算外推语义分割和相应的全景分割图。输入图像和获得的分割图进一步用于生成最终的图像。对 Cityscapes 和 ADE20K 卧室数据集进行实验，并表明在 FID 等指标的优越性。
https://semie-iccv.github.io/

猜您喜欢：

戳我，查看GAN的系列专辑~！