66【多模态】ALBEF

最新推荐文章于 2024-12-30 14:00:00 发布
最新推荐文章于 2024-12-30 14:00:00 发布
阅读量1.9k 收藏 23
点赞数 44
CC 4.0 BY-SA版权
分类专栏： 【NLP & CV】 文章标签： 人工智能 计算机视觉 深度学习 机器学习 python 算法 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46221946/article/details/135432092
ALBEF 是一种新的多模态预训练模型，通过图文对比学习（ITC）对齐单一模态特征，图文匹配（ITM）和掩码语言建模（MLM）学习多模态特征，同时采用动量蒸馏（MoD）缓解噪声数据影响。模型基于 ViT 和 BERT，通过对比和匹配任务以及动量编码器和队列机制提升跨模态学习效果。

ALBEF

论文信息

标题：Align before Fuse: Vision and Language Representation Learning with Momentum Distillation

作者：Junnan Li（Salesforce Research）

期刊：NeurIPS 2021

发布时间与更新时间：2021.07.16 2021.10.07

主题：多模态、预训练、图像、文本、对比学习、知识蒸馏、动量模型

arXiv：https://arxiv.org/abs/2107.07651

代码：salesforce/ALBEF: Code for ALBEF: a new vision-language pre-training method (github.com)

概述

作者认为之前的模型存在三个问题：① 使用预训练好的目标检测器（object detector）对图像目标识别的结果作为图像的单模态特征，与来自文本编码器的文本特征的对齐程度很低，因为目标检测器没有与文本特征一同进行端到端的训练，用于捕获两个模态交互信息的模块无法很好地将来自两个独立语义空间的特征进行融合。另外，推理阶段的目标检测器需要接收高分辨率的图像

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI-多模态-2021：ALBEF
u013250861的博客
12-12 773
大规模的视觉和语言表示学习在许多vision-language任务上取得了很大的进步。现有的方法大多用一个以transformer为基础的多模态编码器来联合建模视觉特征和文本特征。然而，视觉特征和文本特征在语义空间上并不是对齐的，这就导致多模态编码器很难学习图像-文本的交互。本文提出了一种对比损失，能够在图像和文本表示融合之前先将它们对齐。不同于大多现有的方法，ALBEF方法既不需要对图像数据进行标注，也无需高分辨率的图像。为了更好地对噪声数据进行学习，作者还提出了动量蒸馏，能够从动量模型的伪目标中学习。
《深入浅出多模态》 （五）：多模态经典模型ALBEF
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-20 609
本文为《深入浅出多模态》系列多模态经典模型ALBEF，对经典ALBEF模型进行详述，核心为图文对齐后再融合，借助动量蒸馏高效学习多模态表征，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
多模态（clip/ALBEF）
vivi_cin的博客
04-09 1626
1. clip的核心思想是通过。获得的编码向量在向量空间上。，将图片和文本通过各自的。
多模态大模型系列论文（ALBEF、BLIP、BLIP-2）
Yafee的专栏
04-04 3505
1）当前 视觉-语言 预训练（VLP）推动了 视觉语言预训练任务的性能，然而大多数现有的预训练模型或者擅长基于理解的任务（分类）或者基于生成的任务之一。利用动量蒸馏的方式，模型将不在惩罚模型合理的输出，即使这个输出与网络标签不一致，提升从网络噪声数据中学习的能力。2）训练多模模型，利用到了互联网上爬取的数据，这些数据中往往存在大量噪声，传统的图文特征融合训练模式（如 MLM, masked language modeling） 可能过拟合到噪声文本上，从而影响模型的泛化性能。
ALBEF（Align before Fuse: Vision and LanguageRepresentation Learning with Momentum Distillati） 算法阅读记录
allrubots的博客
04-12 1538
试验记录
多模态系列论文--ALBEF 详细解析
热门推荐
lansebingxuan的专栏
07-15 1万+
最近图像文本的大规模的特征学习非常火爆，大部分已有的方法都是用一个Transformer模型作为多模态的一个编码器，同时编码视觉的Token和文本的Token，视觉Token就是视觉特征，一般是region-based的图像特征。
ALBEF：基于动量蒸馏的视觉语言表示学习
zag666的博客
05-01 2018
大规模的视觉和语言表征学习在各种视觉-语言任务上显示出有希望的改进。大多数现有的方法采用了基于Transformer的多模态编码器来联合建模视觉标记（基于区域的图像特征）和单词标记。由于视觉标记和单词标记是不一致的，多模态编码器要学习图像-文本的相互作用是很有挑战性的。在本文中，我们引入了一种对比性的损失，通过跨模态的注意力，将图像和文本表征进行ALign BEfore Fusing（ALBEF），这使得视觉和语言表征的学习更加接地气。
技术前沿 |【ALBEF模型：高效多模态表征学习的新范式】
尺小闹的博客
05-23 2081
本文全面介绍了ALBEF（Adaptive Large-scale Bayesian Efficient Fine-tuning）模型，一种新兴的多模态表征学习方法。ALBEF通过图文对齐和动量蒸馏的方式，实现了高效且准确的图像和文本之间的深度关联学习。本文详细阐述了ALBEF的整体架构和工作原理，并通过实验验证了其在各类多模态任务上的性能表现。此外，本文还将ALBEF与其他多模态学习方法进行对比，分析其优势所在，并探讨了其未来的发展趋势和研究方向。
《深入浅出多模态》下：多模态模型项目实战
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
12-30 1356
本篇内容承接前两篇《深入浅出多模态》之多模态技术总结（上）、《深入浅出多模态》中：多模态模型原理总结，首先将围绕不同多模态模型的对齐方法对经典多模态模型进行对比与总结，并挑选主流的多模态模型CLIP、BLIP、BLIP2等展开详细介绍，最后引入厂内多模态框架PaddleMIX进行多任务实战，帮助大家快速了解多模态技术。
【文献笔记】ALBEF
weixin_43405535的博客
10-17 845
一个Vision-and-Language Pre-training （VLP）的改进框架，是一种大规模视觉和语言表征学习的方法，大多数是基于Transformer的多模态编码器去联合视觉与文本模型，因为它们是不对齐的，所以交互具有挑战性。在本文中，我们引入对比损失，通过跨模态注意力对齐融合前的图像和文本表示( ALBEF )。为了改进从含噪网络数据中的学习，我们提出了动量蒸馏（Momentum distillation），这是一种从动量模型产生的伪目标中学习的自训练方法。
【自然语言处理】【多模态】ALBEF：基于动量蒸馏的视觉语言表示学习
bqw的博客
06-11 7741
多模态预训练、多模态表示、动量蒸馏
多模态对比学习ALBEF（融合之前对齐）
大肉包的博客
10-08 7794
在将图像表示和文本表示通过一个多模态编码器融合之前，ALBEF首先将它们对齐。作者从理论上和实验上验证了所提出的图像-文本对比学习和动量蒸馏的有效性。与现有的方法相比，ALBEF在多个下游V+L任务上有更好的性能和更快的速度。
多模态论文串讲
qq_52038588的博客
10-17 914
朱老师画的多模态近期脉络FLIP论文：CLIP基础上用了MAE思想，没mask的当作token，减少序列长度，值得看MetaLM PaLi做什么由prompt决定，调整prompt决定任务调整输出其他：Unified IO Uniperceiver1，2，uniperceiverMOE。
ALBEF算法解读
xddwz的博客
02-20 1573
ALBEF论文全名Align before Fuse: Vision and Language Representation Learning with Momentum Distillation，来自于Align before Fuse，作者团队为Salesforce Research。
ALBEF图文检索代码运行
weixin_42146686的博客
07-29 2278
ALBEF实验代码实录
ALBEF实现图文检索任务
m0_63213284的博客
03-21 742
2. 在capation_dataset.py里创建一个新的dataloder，注意__getitem__方法里不在通过json文件的'image'键来获取图片了，而是直接用os库获取文件夹里所有图片名称，然后去构建路径加载。init方法也针对我们的数据集做了相应的修改。看到re_eval_dataset类的__getitem__方法是对传入的image_root文件夹里的图像进行遍历，结论是只要image_root这个参数设为图片所在文件夹路径，在做图文检索时就可以找到图片。
【多模态】ALBEF-融合前对齐
向上生长的程序媛的博客
08-04 973
ALBEF模型详解
【多模态论文解读】Align before Fuse: Vision and Language Representation Learning with Momentum Distillation
日拱一卒，功不唐捐
04-13 4434
本文介绍了一种名为ALBEF的高效视觉语言模型，采用了对比学习预训练的方式，能够学习到图像和文本之间的丰富关系，为视觉问答、图像分类、图像生成等下游任务提供更好的表征。ALBEF主要由三部分组成：image encoder、text encoder&multimodal encoder、momentum model。它的预训练目标主要包括对比损失、掩码语言重建任务和图像文本匹配任务的损失函数。此外，作者还提出了一种Momentum Distillation的方法，用于从动量模型生成的伪目标中学习，以便有效学
李沐多模态串讲笔记
m0_46381421的博客
05-25 3342
李沐精读论文视频多模态串讲笔记
多模态提示学习
最新发布
03-21
多模态提示学习通常基于预训练模型（如CLIP、ALBEF）构建，框架包含以下关键组件： - **模态对齐模块**：使用对比学习或跨模态注意力机制对齐不同模态的特征，例如将图像特征向量与文本特征向量映射到同一语义空间[^...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不牌不改

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值