# 论文阅读笔记28：多模态BERT

最新推荐文章于 2025-03-03 13:50:46 发布
最新推荐文章于 2025-03-03 13:50:46 发布
阅读量874 收藏 13
点赞数 10
CC 4.0 BY-SA版权
文章标签： 论文阅读 笔记 bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mohen_777/article/details/140179966

论文阅读笔记28：多模态BERT

BERT模型是NLP领域近几年来最成功的预训练模型之一，而BERT一经提出，很多模仿BERT架构并用于其他的任务中的类BERT模型也不断涌现，这一次读的几篇文章都是多模态BERT相关的内容，分别是VisualBERT，VL-BERT和ViLBERT

Introduction：多模态BERT

BERT预训练模型在NLP领域的成功已经不需要我再多说了，它的成功引来了深度学习的其他领域比如CV的争相效仿，各种各样不同却又相同的类BERT模型不断涌现出来，说它们不同是因为这些BERT模型在细节上各有区别，分别对应不同的使用场景做了不同的挑调整和优化，而说它们相同是因为它们都遵循了预训练+微调的范式，通过在海量的数据集上进行预训练，来完成下游任务。今天的重点在于多模态的BERT模型，这一系列模型都是BERT在多模态任务上的应用。

关于多模态任务

所谓的多模态任务，常见的有图片标准Image Captioning，可视问答VQA，图片-文本检索和可视常识推理等等，多模态的任务往往需要将给定的图片和文本信息结合起来，找到它们的内在联系，这也是多模态任务的最大特征，即数据集中的图片和文本信息往往是成对的，并且图像和文本之间存在着一定的语义关联性，而多模态机器学习的最重要任务就是挖掘出成对的图像和文本信息之间隐藏的关联性。

关于预训练模型

预训练模型的通用范式有两种，一种是基于特征的，即将从预

最低0.47元/天 解锁文章

200万优质内容无限畅学
多模态论文笔记——Coca
haopinglianlian的博客
01-02 1337
本文详细介绍多模态模型Coca，在DALL·E 3中使用其作为captioner基准模型的原因和优势。
多模态之论文笔记ViLT
pku_langzi的博客
04-15 1483
机构：韩国NAVER AILAB会议: ICML 2021 long paper，截止2023.04，引用量500+任务: 视觉语言预训练特点: 快方法: 视觉特征提取，无卷积，无region监督视觉语言预训练任务已经提升了许多视觉语言下游任务的表现。现有的视觉语言预训练方法往往很依赖图像的特征提取过程，比如区域的监督（像目标检测）以及卷积的结构（像ResNet）。
多模态基础---BERT
weixin_42454048的博客
02-15 1465
BERT用于将一个输入的句子转换为word_embedding，本质上是一个transformer的Encoder。
BERT在多模态领域中的应用
Paper weekly
03-03 3481
©PaperWeekly 原创 ·作者｜李明晓学校｜鲁汶大学博士生研究方向｜自然语言处理BERT (Bidrectional Encoder Representations from ...
多模态bert-基于双流的bert 笔记 ViLBert、LXMERT、IMAGEBERT
木东的博客
11-03 932
ViLBert paper: ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 基于双流的 ViLBERT，在一开始并未直接对语言信息和图片信息进行融合，而是先各自经过 Transformer 的编码器进行编码。分流设计是基于这样一个假设，语言的理解本身比图像复杂，而且图像的输入本身就是经过 Faster-RCNN 提取的较高层次的特征，因此两者所需要的编码深.
###好好好####多模态中的BERT
木东的博客
08-28 1101
image BERT自问世以来，几乎刷新了各种NLP的任务榜，基于BERT的变种也层出不穷，在很多任务里都可以看到其身影。大浪淘沙，沉者为金，回想第一次看到BERT的论文时，确实不曾想其也能对工业界产生极大的影响。 本文尝试梳理今年BERT在多模态任务（主要涉及视觉和文本模态）上的一些工作，尝试比较各工作的主要思路以及做法上的区别，因此不会过多的涉及细节。总的来看，众多工作的主体模型大同小异，均使用Transformer，从表1（引用自VL-BERT论文）可以对各工作之间的相似和不同之处有个整体的认..
多模态预训练模型-基于BERT
yaohaishen的专栏
03-11 1765
转载自 |NewBeeNLP 公众号专栏作者@上杉翔二 悠闲会·信息检索 BERT以及BERT后时代在NLP各项任务上都是强势刷榜，多模态领域也不遑多让。前几天我们刚分享了复旦邱锡鹏老师的报告，今天就来详细整理一些代表性工作。 下图是VL-BERT论文中的比较图，就按这个表格的分类（Architecture）整理这几篇论文吧。 首先是 BERT 的基础公式，不做赘述。所有的论文都是基于BERT做改装或者暴力组合的，如果按Architecture可以分为「one sin...
【论文笔记】FedDAT：一种用于多模态异构联邦学习中基础模型微调的方法
blueberryman的博客
08-03 2786
引出背景：基础模型发展得很迅速，但是由于不同的法律法规，收集基础模型的训练数据还是具有一定的难度和挑战性通过联邦学习，可以在各个客户端协作训练神经网络，而不需要集中本地数据。来减轻客户端的计算负担和通信开销新出现的问题：以往的研究大多集中在单一模态上，而忽略了跨客户端的数据异构性的存在，为了解决这个新出现的问题，这篇论文提出了一个新的框架——联邦双适配器教师双适配器教师DAT通过正则化客户端本地更新和应用互相知识蒸馏来解决数据异构性问题经过实验证明，FedDAT的性能优于PEFT。
2021 CVPR 《VLN BERT: A Recurrent Vision-and-Language BERT for Navigation》论文阅读笔记
qq_44100524的博客
04-04 683
在本文中，我们提出了一个用于VLN的时间敏感的循环BERT模型。具体来说，我们为BERT模型配备了一个循环函数，该函数为代理维护跨模态状态信息。此外，我们的方法可以推广到其他基于transformer的架构，支持预训练并能够解决导航和引用表达式任务。VLN可以被看成部分可观察的马尔科夫决策过程，其中未来的观察依赖于智能体当前的状态和行动；同时，在每个导航步骤中，视觉观测只对应部分指令，需要智能体跟踪导航进度，并正确定位相关子指令，以获得决策所需的有用信息。
多模态bert的变形：VisualBERT 和 BERT 的异同
xiyou__的博客
12-18 1043
BERT VisualBERT 备注 全称 Bidirectional Encoder Representations from Transformers 区别于传统Transformer 使用 双向 (bidirectional) self-attention 集成了 BERT, Transformer-based model for NLP, object proposals systems such as Faster-RCNN 预训练数据集 wiki COCO ima...
基于BERT的多模学习——VL-BERT篇
夕小瑶科技说
03-22 5780
前言 BERT的出现让NLP发展实现了一个大飞跃，甚至有大佬说NLP已经没有可以做的啦，后面就是拼机器拼money了。但是，我认为任何领域的进步之后都会有更苛刻的要求，科研没有尽头，需求也永远无法满足。而多模态，要求机器拥有多维度的感知能力，就是一个更强的挑战。 关于这个话题也逐渐成为另外一个新热点。从19年到现在的论文数量就可见一斑。 所以，为了迎上发展的势头，在继videoBERT之后...
多模态基础知识（一）---Bert理解及模型模块代码
qq_44674201的博客
05-24 500
多模态基础知识---Bert的理解及其模型主要框架代码
多模态融合系列学习【一】：2025年BERT最详细解析
最新发布
aminghhhh的博客
03-03 1500
万字长文精读BERT论文，想学BERT看着篇就够了，包懂的
Cross-modal Pretraining in BERT（跨模态预训练）
热门推荐
nakaizura
03-29 1万+
BERT以及BERT后时代在NLP各项任务上都是强势刷榜，多模态领域也不遑多让…仅在2019 年就有8+篇的跨模态预训练的论文挂到了arxiv上…上图是多篇跨模态论文中比较稍迟的VL-BERT论文中的比较图，就按这个表格的分类（Architecture）整理这几篇论文吧。 所有的论文都是基于BERT做改装或者暴力组合的，如果按Architecture可以分为one single和two sing...
多模态大模型：技术原理与实战 BERT模型到底解决了哪些问题
AI架构师小马
11-28 727
多模态大模型，BERT模型，自然语言处理，计算机视觉，深度学习，Transformer，多模态融合 1. 背景介绍 近年来，人工智能领域取得了令人瞩目的进展，其中深度学习技术扮演着至关重要的角色。传统的深度学习模型主要专注于单一模态数据，例如文本或图像。然而，现实世界中信息往往以多模
自然语言处理的情感分析：从BERT到多模态数据
AI天才研究院
12-27 1521
1.背景介绍 自然语言处理(NLP)是人工智能领域的一个重要分支，其中情感分析(Sentiment Analysis)是一种常见的NLP任务。情感分析的目标是通过对文本数据(如评论、评价、推文等)的分析，自动判断其中的情感倾向。随着深度学习和人工智能技术的发展，情感分析的准确性和效率得到了显著提高。本文将从BERT到多模态数据的角度，深入探讨情感分析的核心概念、算法原理、具体操作步骤以及实际应用...
微软亚研提出VL-BERT：通用的视觉-语言预训练模型
ctrigger的专栏
09-03 1746
机器之心发布 作者：Weijie Su、Xizhou Zhu、Yue Cao、Bin Li、Lewei Lu、Furu Wei、Jifeng Dai 来自中科大、微软亚研院的研究者们提出了一种新型的通用视觉-语言预训练模型（Visual-Linguistic BERT，简称 VL-BERT），该模型采用简单而强大的 Transformer 模型作为主干网络，并将其输入扩展为同时包含视觉与语言输...
多模态大模型：技术原理与实战 BERT模型诞生之后行业持续摸索
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
07-13 85
多模态大模型：技术原理与实战 BERT模型诞生之后行业持续摸索 1. 背景介绍 1.1 问题的由来 随着深度学习技术的快速发展，尤其是Transformer架构的提出，自然语言处理（NLP）领域迎来了一次革命性的变
＜＜多模态预训练—泛读系列（一）＞＞ViLBERT—(NeurIPS-2019)，VL-BERT—(ICLR-2020)，VisualBERT—(ACL-2020)
金克丝的博客
08-01 1688
介绍： ViLBERT，一种用于学习图像和自然语言的任务不可知的联合表征的模型，将BERT架构扩展到多模态双流架构，两个独立的分支分别处理视觉和文本输入，co-attention层用以交互图像和文本。 在自动收集的大型captions数据集上通过两个预训练任务对模型进行预训练，然后将其迁移到多个视觉和语言下游任务中，视觉问答、视觉常识推理、引用表达式和基于caption的图像检索。......
深入理解大模型：NLP、多模态、CV阅读笔记与开源资源汇总
资源摘要信息:"本文档是个人对大模型、自然语言处理(NLP)、多模态、计算机视觉(CV)等领域相关论文阅读笔记的整理，以及在这些领域中收集到或使用到的优秀开源仓库、数据集和评测leaderboard等资源的汇总。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨痕_777

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值