跨模态行人重识别：Discover Cross-Modality Nuances for Visible-Infrared Person Re-Identification学习记录笔记

目录

摘要

网络结构

具体方法

MAM

 PAM

模态分类损失

共享特征ID损失

中心簇损失

 总损失

试验

注意模式

 可视化分布

结果

原文链接：Discover Cross-Modality Nuances for Visible-Infrared Person Re-Identification

摘要

        提出了一种联合模态和模式对齐网络 (MPANet) 来发现可见红外人 Re-ID 不同模式中的跨模态细微差别，它引入了模态缓解模块和模式对齐模块来共同提取判别特征。模态缓解模块以从提取的特征图中去除模态信息。 然后设计了一个模式对齐模块，它为一个人的不同模式生成多个模式图，以发现细微差别。 最后引入了一种相互均值学习方式来缓解模态差异，并提出了一个中心聚类损失来指导身份学习和细微差别发现。

贡献：

        为了发现细微差别并提取判别性特征，提出了模式对齐模块 (PAM)，以无监督方式发现不同模式中的细微差别，并提出中心簇损失和分离损失。 

        为了在保留身份信息的同时减轻模态差异，提出了模态缓解模块（MAM），它在相互均值学习方式的指导下选择性地应用实例归一化。

网络结构

        联合模态和模式对齐网络 (MPANet) 的框架。模态缓解模块 (MAM) 从前块接收特征图，以提取与模态无关的特征图。

        模式对齐模块 (PAM) 生成模式图，以发现不同模式中的细微差别。提出了分离损失，以确保模式图集中在不同的模式上。然后，提出的中心聚类损失指示每个模式图集中于某个模式，并通过交叉熵损失共同指导身份学习。为了指导网络缓解模态差异，以相互均值学习的方式将两个特定于模态的分类器与两个相应的均值分类器一起应用。

         所提出的MPANet框架包括两个用于缓解模态差异的模态缓解模块 (MAM)，一个用于发现不同模式中的细微差别的模式对齐模块 (PAM)，以及一种相互均值学习方式来训练具有中心聚类损失和交叉熵损失的模型以进行身份识别。具体来说，MAM使用实例归一化来缓解模态差异，同时保持对扩展的区分性。通过轻量级生成器，图案对齐模块生成一组图案图，这些图案图参加不同的图案以发现细微差别。该模块的输出是通过将模式特征和全局特征连接在一起获得的。为了以无监督的方式发现细微差别，设计了一个区域分离约束，以确保每个模式映射都属于不同的模式。然后提出了中心簇丢失，以减少相同身份的某些模式特征之间的距离，同时增加不同身份的特征中心之间的距离。我们进一步应用两个特定于模态的分类器来从每个模态中学习特征的身份，并预测相同特征的分类结果。此外，通过以相互平均学习的方式减少由不同模态特定分类器生成的同一图像的预测之间的分布差异，可以缓解模态差异。最后，对这两个模块进行级联和端到端的联合优