目录
1. 摘要
提出问题: 行人重识别和属性识别任务都需要学习行人描述,不同之处在描述粒度不同。把二者结合一下,会有更好的效果吗?
解决思路: 融合属性标签和ID标签
具体实现:提出了attribute-person recognition (APR)网络, re-ID 的同时预测属性。给两个大规模的 re-ID 数据集手动标注了属性标签,用于检验解决方法的有效性。
解决效果:将APR 应用于行人重识别,检索过程加快了 10 倍,而 Market-1501 的准确度仅下降了 2.92%。将 APR 应用于属性识别任务,结果表明相较基线模型提升很多。
2. 主要贡献
作者总结了文章的主要贡献:
- 为 Market-1501 数据集和 DukeMTMC-reID 数据集手动标记了一组行人属性。
- 提出了一种新的属性行人重识别 (APR) 框架。它学习了用于行人重识别和属性识别的判别性属性。
- 引入了属性重加权模块(ARM),它根据学习到的属性之间的依赖和相关性来校正属性的预测。
- 提出了一种属性加速过程,通过从查询图像中过滤出具有不同属性的图库图像来加快检索过程。
- 在两个大规模数据集即 Market-1501 [17] 和 DukeMTMC_reID [20] 上,与最先进的 re-ID 方法相比,提出的算法获得了具有竞争力的准确性。同时还展示了算法对于属性识别任务的基本模型性能的提高。
3. 提出的模型(APR)
APR(Attribute-Person Recognition network)的总体结构如下图所示。APR 针对 identity classification 任务和 attribute recognition 任务分别设计了预测。
属性预测:一张行人图片输入网络, 卷积神经网络 特征提取器(CNN Extractor) φ 获取其特征表示(Feature),接着基于行人图片特征给出属性预测。通过 ground truth label 和 属性预测可以计算得到属性损失(attribute losses)。
身份预测:由于局部描述符(属性)有益于全局描述符(identity),因此可将属性预测视为身份预测的线索。ID loss (身份损失)的计算则不仅与 global image feature 有关,还和 local descriptors (attributes) 有关,是二者组合的结果。

那么如何结合属性和图片全局特征得到身份预测呢?
当然不是简单的加和,如图1所示,作者设计了 Attribute re-weighting module(ARM)对属性重新分配权重,之后再与全局特征相结合得到身份预测。
3.1 ARM
设计 ARM 的动机是为了重新校准各属性的激活(activation)强度。这样总体考虑了所有属性,而不仅是考虑单个属性。
举个例子来说明 ARM 的作用:使用 ARM,模型可以学习利用属性之间的相关性。 例如,当“粉红色上衣”和“长发”的预测分数非常高时,网络可能倾向于增加属性“女性”的预测分数。
ARM 具体实现方式如下:
通过 sigmoid 激活函数和可训练的参数 形成属性预测时的门控机制,给每个属性不同的激活强度,也可以理解为权重。
假设图片 的属性预测向量为
,
和
是可训练的参数向量,
是通过网络学习得到的属性预测向量
的置信度。
则 ARM 模块通过将置信度 和预测向量
逐点相乘得到新的预测分数