有监督学习和无监督学习举例_对比自监督学习

作者：Ankesh Anand
编译：ronghuaiyang
原文链接：

导读

利用数据本身为算法提供监督。

对比自监督学习技术是一种很有前途的方法，它通过学习对使两种事物相似或不同的东西进行编码来构建表示。

自监督方法将取代深度学习中占主导地位的直接监督范式的预言已经存在了相当一段时间。Alyosha Efros打了一个著名的赌，赌在2015年秋季之前，一种无监督的方法将会在检测Pascal VOC方面胜过有监督的R-CNN。但四年之后，他的预言现在已经实现了。目前，自监督方法（MoCo， He et al.， 2019）在Pascal VOC上的检测性能已经超越了监督方法，并在许多其他任务上取得了良好的效果。

最近自我监督学习复苏背后的一系列方法遵循一种被称为对比学习的范式。

许多现代的ML方法依赖于人类提供的标签或奖励作为训练过程中使用的唯一学习信号形式。这种对直接语义监督的过度依赖有几个危险：

• 基础数据的结构比稀疏标签或奖励所能提供的要丰富得多。因此，纯监督学习算法往往需要大量的样本来学习，并收敛于脆弱的解决方案。
• 高维问题不能直接监督，RL等问题获取标签的边际成本更高。
• 它导致针对特定任务的解决方案，而不是可以重新利用的知识。

自监督学习提供了一个很有前途的选择，其中数据本身为学习算法提供监督。在这篇文章中，我会试着概述对比方法与其他自监督学习技术的不同之处，并回顾这一领域最近的一些论文。

图解的例子