论文阅读之 Improving person re-identification by attribute and identity learning

目录

1. 摘要

2. 主要贡献

3. 提出的模型(APR)

3.1 ARM

3.2 损失函数

3.3 属性加速过程

4. 实验

4.1 数据集和评估规则

数据集

评估指标

4.2 Re-ID 任务评估

与先进的方法对比

与baseline对比

4.3 消融研究

属性消融研究

ARM 的有效性

算法分析

学到特征的鲁棒性

加速检索过程

4.3 属性识别任务评估


1. 摘要

提出问题: 行人重识别和属性识别任务都需要学习行人描述,不同之处在描述粒度不同。把二者结合一下,会有更好的效果吗?
解决思路: 融合属性标签和ID标签
具体实现:提出了attribute-person recognition (APR)网络, re-ID 的同时预测属性。给两个大规模的 re-ID 数据集手动标注了属性标签,用于检验解决方法的有效性。
解决效果:将APR 应用于行人重识别,检索过程加快了 10 倍,而 Market-1501 的准确度仅下降了 2.92%。将 APR 应用于属性识别任务,结果表明相较基线模型提升很多。

2. 主要贡献

作者总结了文章的主要贡献:

  • 为 Market-1501 数据集和 DukeMTMC-reID 数据集手动标记了一组行人属性。
  • 提出了一种新的属性行人重识别 (APR) 框架。它学习了用于行人重识别和属性识别的判别性属性。
  • 引入了属性重加权模块(ARM),它根据学习到的属性之间的依赖和相关性来校正属性的预测。
  • 提出了一种属性加速过程,通过从查询图像中过滤出具有不同属性的图库图像来加快检索过程。
  • 在两个大规模数据集即 Market-1501 [17] 和 DukeMTMC_reID [20] 上,与最先进的 re-ID 方法相比,提出的算法获得了具有竞争力的准确性。同时还展示了算法对于属性识别任务的基本模型性能的提高。

3. 提出的模型(APR)

APR(Attribute-Person Recognition network)的总体结构如下图所示。APR 针对 identity classification 任务和 attribute recognition 任务分别设计了预测。
属性预测:一张行人图片输入网络, 卷积神经网络 特征提取器(CNN Extractor) φ 获取其特征表示(Feature),接着基于行人图片特征给出属性预测。通过 ground truth label 和 属性预测可以计算得到属性损失(attribute losses)。
身份预测:由于局部描述符(属性)有益于全局描述符(identity),因此可将属性预测视为身份预测的线索。ID loss (身份损失)的计算则不仅与 global image feature 有关,还和 local descriptors (attributes) 有关,是二者组合的结果。

 

图 1

那么如何结合属性和图片全局特征得到身份预测呢?
当然不是简单的加和,如图1所示,作者设计了 Attribute re-weighting module(ARM)对属性重新分配权重,之后再与全局特征相结合得到身份预测。
 

3.1 ARM

设计 ARM 的动机是为了重新校准各属性的激活(activation)强度。这样总体考虑了所有属性,而不仅是考虑单个属性。

举个例子来说明 ARM 的作用:使用 ARM,模型可以学习利用属性之间的相关性。 例如,当“粉红色上衣”和“长发”的预测分数非常高时,网络可能倾向于增加属性“女性”的预测分数。

ARM 具体实现方式如下:

通过 sigmoid 激活函数和可训练的参数  \left ( v,b \right ) 形成属性预测时的门控机制,给每个属性不同的激活强度,也可以理解为权重。

假设图片 x 的属性预测向量为 \tilde{\alpha }v 和 b 是可训练的参数向量, c 是通过网络学习得到的属性预测向量 \tilde{\alpha } 的置信度。

则 ARM 模块通过将置信度 c 和预测向量 \tilde{\alpha } 逐点相乘得到新的预测分数 \alpha

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值