Contrastive Regression for Domain Adaptation on Gaze Estimation CVPR 2022 对比学习+目标域有样本无标注(伪标签)

文章提出了一种将分类对比学习应用于回归任务的方法,利用回归真值的相似性代替类别标签。通过引入新的损失函数,优化正负样本对的特征距离,同时结合数据增强策略加速训练过程。训练阶段包括回归对比损失和视线估计准确性损失。实验使用了伪标签在无标注目标域进行训练。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

原文链接
补充材料
概括:本文将分类对比学习推广到回归,采用回归任务里真值的相似性代替分类任务里的类别标签一致性划分,在无标注的目标域采用伪标签进行训练。
在这里插入图片描述
分类对比学习损失:s为特征的余弦相似性,损失函数L分子与正样本对特征相似程度和正相关,分母与所有样本对特征相似度和正相关。该损失函数能够使得正样本对特征拉近,负样本对特征拉远。
在这里插入图片描述
在这里插入图片描述
本文回归任务损失:S为回归任务真值的相似程度,σ是relu函数,对标分类任务负样本对不参与分子计算,loss能够push负样本对拉远(分子不变,分母变小,总体变大),正样本对拉近(3/5>1/3)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
训练的时候loss包括回归对比损失以及视线估计准确性损失两部分:I在ij相等时为0,其余时候为1,避免自身参与相似度计算加快收敛

在这里插入图片描述
文章在训练时还进行了增强,对于每个输入样本,在数据增强操作集合中随机选择两个不同的操作对样本进行增强,因此每个批次有2N个样本。
伪代码:
在这里插入图片描述

实验:
在这里插入图片描述

CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络(Contrastive Adaptation Network for Unsupervised Domain Adaptation)”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应网络。 迁移学习是指将从一个源领域学到的知识应用到一个目标领域的任务中。在无监督领域自适应中,源领域和目标领域的标签信息是不可用的,因此算法需要通过从源领域到目标领域的无监督样本对齐来实现知识迁移。 该论文提出的对比适应网络(Contrastive Adaptation Network,CAN)的目标是通过优化源领域上的特征表示,使其能够适应目标领域的特征分布。CAN的关键思想是通过对比损失来对源领域和目标领域的特征进行匹配。 具体地说,CAN首先通过一个共享的特征提取器来提取源领域和目标领域的特征表示。然后,通过对比损失函数来测量源领域和目标领域的特征之间的差异。对比损失函数的目标是使源领域和目标领域的特征在特定的度量空间中更加接近。最后,CAN通过最小化对比损失来优化特征提取器,以使源领域的特征能够适应目标领域。 该论文还对CAN进行了实验验证。实验结果表明,与其他无监督领域自适应方法相比,CAN在多个图像分类任务上取得了更好的性能,证明了其有效性和优越性。 综上所述,这篇CVPR 2019论文介绍了一种用于无监督领域自适应的对比适应网络,通过对源领域和目标领域的特征进行对比学习,使得源领域的特征能够适应目标领域。该方法在实验中展现了较好的性能,有望在无监督领域自适应任务中发挥重要作用。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值