本文介绍了一种名为Criss-CrossAttention的新方法，它在保持全局上下文信息的同时降低了非局部注意力模型的计算复杂度。实验结果显示，该方法在Cityscapes、ADE20K和COCO语义分割任务上表现出色，尤其是在效率和性能上超越了非局部网络。
ICCV-2019
文章目录
1 Background and Motivation
分割任务中全局的上下文信息非常重要，如果高效轻量的获取上下文？
Thus, is there an alternative solution to achieve such a target in a more efficient way?
作者提出了 Criss-Cross Attention
相比于 Non-local（【NL】《Non-local Neural Networks》）
复杂度从 O（（HxW）x（HxW）） 降低到了 O（（HxW）x（H+W-1））
2 Related Work
- semantic segmentation
- contextual information aggregation
- Attention model
3 Advantages / Contributions
- 提出 Criss-Cross 注意力，capture contextual information from full-image dependencies in a more efficient and effective way
- 在语义分割数据集 Cityscapes, ADE20K 和实例分割数据 COCO 上均有提升
4 Method
整理流程如下
Criss-Cross Attention Module 用了两次，叫 recurrent Criss-Cross attention (RCCA) module
下面是和 non-local 的对比
比如（b）中，计算蓝色块的 attention，绿色块不同深浅表示与蓝色块的相关程度，第一次结合十字架attention得到黄色块，第二次再结合十字架attention，得到红色块
为什么两次，因为一次捕获不到全局上下文信息，两次就可以，如下图
第一次，计算深绿色块的 Criss-Cross 注意力，只能获取到浅绿色块的信息，蓝色块的信息获取不到，浅绿色可以获取到蓝色块信息
第二次，计算深绿色块的 Criss-Cross 注意力，因为第一次计算浅绿色块注意力时已经有蓝色块信息了，此时，可以获取到蓝色块信息
更细节的 Criss-Cross 注意力图如下
下面结合图 3 看看公式表达
输入 H ∈ R C × W × H H \in \mathbb{R}^{C \times W \times H} H∈RC×W×H
query 和 key， { Q , K } ∈ R C ′ × W × H \{Q, K\} \in \mathbb{R}^{ {C}' \times W \times H} { Q,K}∈RC′×W×H， C ′ {C}' C′ 为 1/8 C C C
Q u ∈ R C ′ Q_u \in \mathbb{R}^{ {C}'} Qu∈RC′， u u u 是 H × W H \times W H×W 中空间位置索引，特征图 Q 的子集（每个空间位置）
Ω u ∈ R ( H + W − 1 ) × C ′ \Omega_{u} \in \mathbb{R}^{(H + W -1) \times {C}' } Ωu∈R(H+W−1)×C′，特征图 K 的子集（每个十字架）
Affinity operation 可以定义为
d i , u = Q u Ω i , u T d_{i,u} = Q_u \Omega_{i, u}^T di,u=Q
最低0.47元/天 解锁文章
扫一扫
1686
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
