最优传输论文（二十二）：Learning Transferable Features with Deep Adaptation Networks论文原理

前言

• 本文是DAN的介绍论文，发表于2015年的ICML。

摘要

• 最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到新的领域适应任务。然而，随着深层特征最终沿着网络从一般特征过渡到特定特征，随着域差异的增加，特征可转移性在更高层中显著下降。因此，减少数据集偏差并增强特定于任务的layers的传输能力非常重要。本文提出了一种新的深度自适应网络体系结构（DAN），将深度卷积神经网络推广到域自适应场景。在DAN中，所有任务特定层的隐藏表示被嵌入到一个再生核希尔伯特空间中，在该空间中，不同域分布的平均嵌入可以被显式匹配。使用用于平均嵌入匹配的最优多核选择方法来进一步减少域差异。DAN可以通过统计保证学习可转移特征，并通过核嵌入的无偏估计进行线性变换。大量的经验证据表明，建议的架构产生最先进的图像分类错误率。

1.介绍

• 训练样本有限的监督学习机的泛化误差会大得令人不满意，而为不同的应用领域手工标记足够的训练数据可能会令人望而却步。因此，建立有效的算法来降低标记成本是有动机的，通常是通过利用从相关源域到目标域的现成标记数据。领域适应解决了我们有来自两个相关领域但分布不同的数据的问题。领域差异是跨领域调整预测模型的主要障碍。例如，在人工注释的图像上训练的对象识别模型可能不能很好地概括在姿势、遮挡或照明的显著变化下的测试图像。领域适应通过探索领域不变的结构来建立知识从标记的源领域到未标记的目标领域的转移，