21、无标注医学图像的全局和局部表示的三元组对比学习

无标注医学图像的全局和局部表示的三元组对比学习

1. 引言

自监督学习（SSL）在表示学习中展现出巨大潜力，并已应用于各种计算机视觉任务。随着其在自然图像领域取得性能提升，医学图像分析领域也开始积极开展相关研究。不过，当前大多数对比学习方法在医学图像分析中应用并不广泛，因为医学图像与自然图像存在差异，例如医学图像中的异常病变不固定且尺寸小，普通实例级自监督结构难以对这些区域变化进行建模。

本文提出一种基于三元组比较网络的自监督学习方法，通过引入代表身体结构的全局变化和关注纹理的局部变化，更有效地学习医学图像中的异常特征。该方法将全局结构视为正样本，局部纹理视为负样本，利用三元组损失使全局结构与原始图像更接近，局部细节与原始图像更远，从而实现整体和局部的同时学习，促进多层次特征表示。与其他方法相比，该模型不需要大批次数据、大队列存储负样本或网络不对称性，仅需少量数据就能达到甚至超越现有最先进模型。

2. 相关工作

• 计算机视觉中的自监督学习 ：近年来，自然静态图像的自监督学习取得了不错的成果。例如基于上下文的拼图模型，将图片分成9个无序小块，以恢复正确顺序作为代理任务；基于对比的MoCoV2设计了队列存储负样本，将同一图像的不同增强数据作为正样本，队列中的数据作为负样本，使用对比损失函数使正样本更相似，负样本更不同；PixPro通过单张图像的不同视图构建像素级对应关系，但忽略了全局特征。
• 医学图像中的自监督学习 ：近年来，自监督学习也常应用于医学数据，以缓解医学数据集小和标注困难的问题。部分工作设计了特殊的代理任务，部分基于正负样本对进行对比学习。