分割-trans-3-SPFormer: Enhancing Vision Transformer with Superpixel Representation用超像素表示增强视觉

最新推荐文章于 2025-08-26 15:18:52 发布

新手小白勇闯新世界

最新推荐文章于 2025-08-26 15:18:52 发布

阅读量973

点赞数 21

CC 4.0 BY-SA版权

分类专栏：分割论文文章标签： transformer 人工智能深度学习

本文链接：https://blog.csdn.net/weixin_43899239/article/details/144203914

之前研究存在的问题、论文的出发点：

CNN存在局限性，只能捕获局部信息，需要堆叠多个卷积操作和/或额外的操作增加感受野

VITS基于补丁的表示捕获了全局交互，但丢失局部细节，例如对象边界。

思考：能不能同时利用局部信息与长距离依赖both preserved local details and effective long-range relationship capture-------超体素---自适应输入，超像素将图像划分为不规则区域，每个区域对具有相似语义的像素进行分组。这种方法允许少量的超像素，使其能够通过自我注意对全局交互进行建模。

文章的主要研究内容：

超像素表示（Superpixel Representation）：
结合像素表示和补丁表示的优点。超像素表示通过将图像分割成语义相似的区域，减少了输入的长度，同时保留了图像的细节和上下文信息。
超像素表示通过邻近的超像素（Neighboring Superpixels）和关联矩阵（Association Matrix）来定义像素与超像素之间的关系，从而在保持高分辨率特征的同时，减少了计算复杂度。
超像素交叉注意力机制（Superpixel Cross Attention, SCA）：
包括像素到超像素（P2S）和超像素到像素（S2P）的交叉注意力。这种机制通过在局部窗口内更新超像素和像素特征，增强了超像素表示的准确性和全局上下文信息。
SCA模块通过多头的注意力机制来管理超像素之间的交互，利用卷积位置嵌入（Convolution Position Embedding, CPE）来捕捉图像中的空间关系，从而提高了像素与超像素之间的对齐精度。
SPFormer架构：
结合了超像素表示和标准ViT的方法。SPFormer采用了一种双分支结构，一个分支保持高分辨率的密集像素表示，另一个分支专注于低分辨率的