【论文精读】Superpixel Sampling Networks（SSN）

本文原文链接

Abstract

超像素为图像数据提供了一种高效的低/中级表示方法，大大减少了后续视觉任务所需的图像基元数量。现有的超像素算法是不可微的，这使得它们很难集成到端到端可训练的深层神经网络中。我们开发了一个新的可微分超像素采样模型，利用深度网络学习超像素分割。结果表明，该超像素采样网络（SSN）是端到端可训练的，它允许学习具有灵活损失函数的任务特定超像素，运行速度快。大量的实验分析表明，SSN不仅在传统的分割基准上优于现有的超像素算法，而且可以学习其他任务的超像素。此外，SSN可以很容易地集成到下游深度网络中，从而提高性能。

1和2部分懒得翻译

详见原文

3 复习SLIC

1. Pixel-Superpixel association：将每个像素与五维空间中最近的超级像素中心相关联，即判断每个像素p属于哪个新的超像素中心
   
   $D$表示计算距离：$D(a,b)=||a-b|{|}^2$；注意由于在等式1中计算所有像素和超级像素之间的距离D是耗时的，因此该计算通常被限制在每个超像素中心周围的固定邻域内。
   $H_p^t$大小为n*m，表示第t次迭代时，原图第$p$个像素是否属于第$i$个超像素
   $I_p$表示原图第$p$个像素
   $S_i^{t-1}$表示第$t-1$次迭代时，第$i$个超像素中心
2. Superpixel center update：计算每个超像素内的平均像素特征（XY+Lab）以获得新的超像素中心$S^t$。
   
   $S_i^t$表示第t次迭代时，第$i$个超像素中心
   $I_p$表示原图第p个像素
   $Z_i^t$超像素$i$的像素个数
   $p|H_p^t$表示第t次迭代时，属于超像素$i$的像素$p$
3. 重复1、2步，直到收敛或进行固定次数的迭代。

4 Superpixel Sampling Networks（SSN）

SSN由两部分组成：一个生成像素特征的深度网络，然后将其传递给可微SLIC。

4.1 可微SLIC算法

为什么SLIC不可微?
答：问题出在Pixel-Superpixel association的计算（公式1），涉及不可微的最近邻运算。
解决方案：修改Pixel-Superpixel association从硬距离 H ∈ { 0 , 1 , . . . , m − 1 } n ∗ 1 H \in \{0,1,...,m-1\}^{n*1} H∈{ 0,1,...,m−1}n∗1变成软距离$Q\in$