【多模态论文阅读】HADAMARD PRODUCT FOR LOW-RANK BILINEAR POOLING

最新推荐文章于 2025-05-30 13:56:43 发布
最新推荐文章于 2025-05-30 13:56:43 发布
阅读量2.4k 收藏 8
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 多模态 文章标签： 机器学习 人工智能 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36643449/article/details/123262782
本文探讨了如何利用Hadamard积进行低秩双线性池化，以实现多模态学习的高效注意力机制。除了基本的MLB方法，还提出了一系列改进，包括引入偏置项、非线性激活、短路连接和注意力机制。这些变体增强了模型的表达能力和适应性，为深度神经网络的池化操作提供了新的思路。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、亮点

本文提出了使用 Hadamard 积的低秩双线性池化，以实现多模态学习的有效注意机制。

除了基础的多模态低秩双线性池化MLB，本文还提出了很多变体，如：

  1. 添加偏置项
  2. 添加非线性
  3. 添加受深度残差学习启发的shortcut connections
  4. 添加attention机制

二、MLB推导

在这里插入图片描述
所以综上所述：

多模态低秩双线性模型可以使用两个不带偏置项(也可以带)的线性映射来实现，用于embedding两个输入向量，Hadamard 乘积以乘法方式学习多模态联合表示，最终使用一个带偏置项的线性映射将多模态联合表示投影到给定输出维度的输出向量。 然后，我们使用这种结构作为深度神经网络的池化方法。

接下来我们基于受神经网络研究启发的模型讨论低秩双线性池的可能变化。

2.1 FULL MODEL——添加偏置项

请添加图片描述

2.2 非线性激活

请添加图片描述

2.3 SHORTCUT CONNECTION

最低0.47元/天 解锁文章

200万优质内容无限畅学
【多模态论文阅读】Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Ans
qq_36643449的博客
03-04 3972
一、亮点 对于多模态特征融合，本文开发了一种多模态因子双线性（MFB）池化方法来有效地组合多模态特征； 对于细粒度的图像和问题表示，开发了一种“共同注意”机制，使用端到端的深度网络架构来共同学习图像和问题的注意力。 二、MCB和MLB的缺点 MCB 模型依赖于高维输出特征来保证稳健的性能，这可能会由于巨大的内存使用量而限制其适用性。 为了克服这个问题，Kim 等人提出了基于两个特征向量的Hadamard乘积的多模态低秩双线性化（MLB）池模型。 由于 MLB 生成的输出特征维度较低，模型参数较少，因此与
《Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Answering》笔记
Geek_of_CSDN的博客
05-07 6016
这是ICCV2017上的一篇文章（文章链接），代码在github上的地址：链接。 简单翻译一下摘要： 摘要 VQA（visual question answering 图像问答）因为需要同时对图像信息和问题的信息进行理解而比较难解决。建立的模型的性能在很大程度上取决于怎么从问题中提取特征，怎么图像中进行细粒度信息提取需要的特征，以及怎么对这两种提取出来的特征进行整合。尽管各类基于双线性池化的...
论文笔记: HADAMARD PRODUCT FOR LOW-RANK BILINEAR POOLING
zdcs的专栏
02-06 3144
HADAMARD PRODUCT FOR LOW-RANK BILINEAR POOLING Jin-HwaKim Interdisciplinary Program in Cognitive Science Seoul National University Seoul, 08826, Republic of Korea [email protected] Kyoung-WoonOn Sc
顶会青睐，2025年好发论文的方向——多模态特征融合！
最新发布
2501_91624122的博客
05-30 1112
多模态特征融合技术演进：从早期简单拼接到深度学习动态交互，再到当前多模态大模型(MLLMs)的分层融合，显著提升生成与推理能力。关键突破包括：1)EchoVideo模型通过IITF模块融合文本语义与面部特征，实现身份一致的视频生成；2)多模态大语言模型中，外部直接融合策略被验证为最优多层视觉特征整合方案。这些进展为内容创作、智能交互等场景带来新可能。附12篇顶会论文资料，涵盖最新融合技术与应用实践。
多模态论文汇总
Friedrichor的博客
09-19 1183
随学习进度同步更新……
多模态系列论文----最详细的多模态论文总结（BLIP、BEIT、CoCa等）
lansebingxuan的专栏
07-08 1958
最详细的多模态论文总结
【多模态论文解读】Align before Fuse: Vision and Language Representation Learning with Momentum Distillation
日拱一卒，功不唐捐
04-13 4350
本文介绍了一种名为ALBEF的高效视觉语言模型，采用了对比学习预训练的方式，能够学习到图像和文本之间的丰富关系，为视觉问答、图像分类、图像生成等下游任务提供更好的表征。ALBEF主要由三部分组成：image encoder、text encoder&multimodal encoder、momentum model。它的预训练目标主要包括对比损失、掩码语言重建任务和图像文本匹配任务的损失函数。此外，作者还提出了一种Momentum Distillation的方法，用于从动量模型生成的伪目标中学习，以便有效学
【多模态】《Bilinear Attention Networks》论文阅读笔记
qq_36643449的博客
05-26 1152
一、概述 这篇文章做的是VQA，是对【多模态论文阅读】HADAMARD PRODUCT FOR LOW-RANK BILINEAR POOLING这篇文章中所讲述的多模态低秩双线性池化MLB的扩展。 在MLB的论文中，已经讲过可以通过添加attention来实现自然语言query对视觉区域进行attention的做法，具体可以参考【多模态论文阅读】HADAMARD PRODUCT FOR LOW-RANK BILINEAR POOLING。 这篇论文最大的创新点在于：提出做attention的时候，让每一对
VQA中多模态fusion方式小结
nan1104的博客
04-03 3708
多模态特征融合的线性池化 ： 连接或者元素相加（concatenation or element-wise. addition）来融合图像的视觉特征和问题的文本特征 这种方式不能有效的捕捉图像的视觉特征和问题的文本特征之间的复杂关联。 接着出现了双线性池化 ：最早由 Separating Style and Content提出，但是高维的输出特征和大量的模型参数限制了可用性 。 双线性池化的形式...
14篇多模态最新论文汇总，最新的研究成果在这里
SHENLANYANXUAN的博客
05-12 975
【1】 ArtRAG: Retrieval-Augmented Generation with Structured Context for Visual Art Understanding标题： ArtRAG：具有结构化上下文的检索增强生成，用于视觉艺术理解链接：https://arxiv.org/abs/2505.06020作者： Shuai Wang, Ivona Najdenkoska, Hongyi Zhu, Stevan Rudinac, Monika Kackovic, Nachoem Wij
10篇多模态融合优秀论文汇总，看最新研究成果！
2401_82426425的博客
01-09 6768
简述：本文提出了一种多模态、模态不可知的融合变换器方法，该方法学会在多个模态之间交换信息，如视频、音频和文本，并将它们整合到一个联合的多模态表示中，以获得一个汇聚多模态时序信息的嵌入。简述：在本文中，从文献角度审视了现有基于多种模式的自主驱动的认知任务方法，详细分析了50多份文件，利用包括LIDAR和照相机在内的感知传感器试图解决物体探测和语义分解任务，不同于传统的对聚合模型进行分类的聚合方法，文中提出了一种创新方法，将它们分为两大类和四个小类，从聚化阶段来看，以更合理的分类法划分为四个小类。
6多模态智能论文调研报告.pptx
02-29
这份PPT是针对对应的顶会论文做的学习PPT，下载者可以通过它：①快速了解论文阅读方法②对多模态智能有了一定了解③精美的PPT模板，可以拿去改做他用
compact bilinear pooling(tensorflow版本)
08-23
compact bilinear pooling(tensorflow版本)，可用于细粒度分类，特征融合
【多模态论文阅读】MUTAN: Multimodal Tucker Fusion for Visual Question Answering
qq_36643449的博客
03-05 1097
一、背景 对于MCB来说，WqW_qWq​和WvW_vWv​是固定参数，仅仅WoW_oWo​是可学习参数。很多参数是固定的，依赖于高维输出特征来保证稳健的性能，这可能会由于巨大的内存使用量而限制其适用性。 对于MLB来说，虽然Wq、Wv、WoW_q、W_v、W_oWq​、Wv​、Wo​都是可学习的参数，而TcT_cTc​是固定参数，相较于MUTAN需要学习的参数多，收敛慢。 本文提出MUTAN——基于多模态张量Tucker分解，能够有效的在视觉和文本的双线性交互（Bilinear models）的模型中进
多模态论文总结（二）
C_andylist的博客
01-29 522
Gated Mechanism for Attention Based Multi Modal Sentiment Analysis 阅读笔记_阿里武的技术博客-CSDN博客 上述博客已经对该文章做出了详细介绍，个人补充如下： 该论文多次运用了门控结构，模型非常简单，写作值得学习。 核心部分在于Cross Attention和Gating Mechanism for Cross Interaction，其余部分与NLP的相关处理相似。 ...
多模态文章收藏
想握住此生辽阔
10-17 277
B站：阿里武的多模态文章
【前沿 热点 顶会】NIPS/NeurIPS 2024中与多模态/多模式有关的论文
A_Student10000的博客
10-07 1826
在一系列视觉中心和 VQA 基准上的综合实验结果表明，我们的 Lumen 模型不仅在一系列以视觉为中心的任务中达到或超过了现有基于 LMM 的方法的性能，而且保持了一般的视觉理解和指令跟随能力。广泛的评估显示， Emove-Allama 的表现优于其他 MLLM，在 EMER 上获得了线索重叠(7.83)和标签重叠(6.25)的最高分数，在 MER2023 挑战赛上获得了 0.9036 的 F1 分数，在 DFEW 数据集的零样本评估中获得了最高的 UAR(45.59)和 WAR(59.37)。
多模态论文精读1——LLaVA
DUTBenjamin的博客
03-04 1226
人类通过多种感官（如视觉和语言）与世界互动，每种感官在表示和传达某些概念时具有独特的优势。人工智能的核心目标之一是开发一个能够有效遵循多模态视觉和语言指令的通用助手，以完成各种现实世界任务。现有的多模态模型通常针对特定任务进行训练，缺乏通用性，且多模态指令跟随数据的缺乏限制了模型的泛化能力。
两篇2023 ICLR多模态论文分享(模态互补性对多模态鲁棒性影响 与 对多模表示学习有效的单模学习)
weixin_42455006的博客
03-29 7103
本文讨论了模态互补性在多模态鲁棒性中的重要性，并基于信息论提出了一种数据集层面量化度量，用于量化不同模态之间有多少互补信息，以及这些信息对预测标签有多大贡献。该指标基于互信息神经估计器（MINE）来计算。提出了一个两阶段pipeline，分成数据生成阶段和度量计算阶段。在数据生成阶段，作者生成具有受控模态互补性的数据集。在度量计算阶段，作者使用生成的数据集计算度量并分析结果。，并通过实验验证了其有效性。此外，本文还讨论了各种相关主题，如变压器、对抗性示例和深度学习模型。
BLIP模型实战：多模态文本-视频打架行为检测与检索
"该资源是一个多模态项目实战，专注于文本-视频检索和打架识别。项目利用BLIP大模型的多模态功能，可以对视频中的特定行为（如打架）进行检测，并且可以轻松扩展到其他行为的识别。项目提供了详细的执行流程，包括...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值