Balanced Multimodal Learning via On-the-fly Gradient Modulation(CVPR2022 oral)

最新推荐文章于 2024-12-22 10:40:06 发布
原创 最新推荐文章于 2024-12-22 10:40:06 发布 · 644 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #python #开发语言

paper: https://arxiv.org/pdf/2203.15332.pdf

一句话总结：解决多模态训练时主导模态训得太快导致辅助模态没训充分的问题
交叉熵损失函数：
在这里插入图片描述
其中，f(x)为
在这里插入图片描述
解耦一下：
在这里插入图片描述
其中，a表示audio模态，v表示visual模态，f(x)为softmax前的两个模态联合输出的logits。在这个任务中a为主导模态，即对于gt类别，a模态输出的logits更大
以WaW^aWa为例，L对WaW^a

最低0.47元/天 解锁文章

200万优质内容无限畅学
Balanced Multimodal Learning via On-the-fly Gradient Modulation论文笔记
tcmyxc的博客
05-09 1896
Balanced Multimodal Learning via On-the-fly Gradient Modulation论文笔记 引言 多输入模态有望提高模型性能，但我们实际上发现即使多模态模型优于其单模态模型，它们也没有得到充分利用。 具体来说，在本文中，我们指出现有的多模态判别模型（其中为所有模态设计了统一的目标）可能仍然存在欠优化的单模态表示，这是由某些场景中的另一种主导模态引起的，例如，吹风事件中的声音 ，绘图事件中的视觉等。为了缓解这种优化不平衡，我们提出了动态梯度调制，通过监控它们对学习目
CVPR2022自适应/语义分割：Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation
ssshyeong的博客
11-01 2524
域自适应语义分割的目的是在监督源域数据的情况下学习模型，并在未标记的目标域上产生令人满意的密集预测。为解决上述问题，我们建议直接探索目标域数据的内在像素分布，而不是过度依赖源域。具体来说，我们同时对像素进行聚类，并使用获得的聚类分配对标签进行整流。这个过程以在线的方式完成，因此伪标签可以与分割模型共同进化，而不需要额外的训练。为了克服长尾类的类不平衡问题，我们采用一种分布对齐技术，使簇分配的边缘类分布接近于伪标签的边缘类分布。所提出的方法，即类平衡像素级自标记(CPSL)
【CVPR2022 oral】Balanced Multimodal Learning via On-the-fly Gradient Modulation
OUC的搬砖日常
06-15 831
这是一个来自人民大学GeWu-Lab的工作，被CVPR2022接收并选为Oral Presentation，相关代码已经开源。使用多模态数据进行分类有助于提高分类性能，但是，实际上现有的方法并没有有效的挖掘多个模态数据的性能。（如下图所示，在多模态模型中特定模态编码器的性能反而不如单模态模型，这说明现有的模型对于单模态特征表示的挖掘不足）作者认为，这个现象的主要原因是：两个模态有一个起主导作用，另一个起辅助作用。起主导作用的模态会对另一个模态的优化起抑制作用。因此，为了解决这一问题，作者提出了OGM-GE（
【论文笔记】(CVPR 2022 oral)Balanced Multimodal Learning via On-the-fly Gradient Modulation
weixin_43550619的博客
10-28 2423
论文开头简述了多模态数据的好处，接着提出目前仍有多模态数据利用不平衡的问题，作者认为可能是因为主导模态过于强，从而抑制另一个模态的优化，导致模型仍然是未优化的单模态表示。根据此问题提出了一种基于动态梯度调整的自适应控制策略，即通过监测不同模态对学习目标贡献的差异来动态调整其优化。此外引入了一个动态变化的额外高斯噪声，避免梯度调整可能带来的泛化性能下降。实验结果也证实了本文提出的策略比常用的融合方法具有显著改进和增强，具有有效性和多功能性等优势。
Balanced Multimodal Learning via On-the-fly Gradient Modulation
Sky_小天
08-02 486
人们通过协同利用多种感官来感知世界：眼睛看，耳朵听，手触摸。这种多模式的方式可以从不同的方面提供更全面的信息。受人类的多感官整合能力的启发，从不同传感器收集的多模态数据在机器学习中更容易被考虑。近年来，多模态学习在提高以往单模态任务的性能以及解决动作识别、视听语音识别、视觉问答等新的挑战性问题方面表现出了明显的优势。与单模态数据相比，多模态数据通常提供更多的视图，因此使用多模态数据的学习应该匹配或优于单模态情况。
CVPR 2022 Oral｜OGM-GE：基于动态梯度调节的平衡化多模态学习
阿木寺的博客
05-03 1704
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：无影|已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/507823626在多模态模型中，差异较大的异质模态数据朝着统一优化目标被同时训练，那么各个模态间的关系是竞争还是合作？训练的更快更好的模态会对相对较弱的模态起到指导作用还是抑制作用？如何合理的...
Machine-Learning-for-Algorithmic-Trading-Second-Edition/ gradient boosting
weixin_47911946的博客
07-11 1166
本文作者：何百圣 哈尔滨工业大学（威海） 经济管理学院数量金融方向 MLAT系列文章为校内课程作业，以blog的形式记录作业。笔者的课程任务是12gradient_boosting,本篇承接上一篇create dataset，用多种boosting方法对dataset进行处理。 Imports and Settings import sys, os import warnings from time import time from itertools import product i...
Balanced-Bi--wheel-Vehicle-simulation-on-webots-master.zip
08-15
【标题】"Balanced-Bi--wheel-Vehicle-simulation-on-webots-master.zip" 提供了一个在Webots2019a环境下实现的双轮平衡车的模拟项目。这个项目不仅包含车辆模型，还包含了PID控制器的源代码，使得车辆能够在环境中...
OGM-GE（动态梯度调制&泛化增强）
weixin_73784868的博客
12-08 1070
1. 该模型的初始阶段不如正常模型，因为降低了学习率2. 虽然通过OGM关联多模态之间的学习情况，最终仍然存在差异。
【悟道模型】主题论文推荐
AI_Conf的博客
04-18 1406
悟道2.0参数量达到1.75万亿，创下全球最大预训练语言模型记录。"悟道"超大模型智能模型旨在打造数据和知识双轮驱动的认知智能，让机器能够像人一样思考，实现超越图灵测试的机器认知能力。 以下论文供大家参考学习： 1.BaGuaLu: Targeting Brain Scale Pretrained Models with over 37 Million Cores 在HPC系统上部署AI应用还存在差距，需要基于特定硬件特性的应用和系统协同设计。为此，本文提出了BaGuaLu1，这是第一个在整个百亿亿次级超.
CVPR2022论文速递（2022.3.30）！共48篇
zero的博客
03-30 4995
整理：AI算法与图像处理CVPR2022论文和代码整理：https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo欢迎关注：StyleT2I: Toward Compositional and High-Fidelity Text-to-Image Synthesis论文/Paper: http://arxiv.org...
公众号内容拓展学习笔记（2022.5.5）
xiaoxuebajie的博客
05-05 313
公众号内容拓展学习笔记（2022.5.5） 📎 今日要点 CVPR 2022 Oral｜OGM-GE：基于动态梯度调节的平衡化多模态学习 ⭐️⭐️ Abstract: OGM-GE：基于动态梯度调节的平衡化多模态学习 Paper: Balanced Multimodal Learning via On-the-fly Gradient Modulation Code: https://github.com/GeWu-Lab/OGM-GE_CVPR2022 Tips: 我们针对在某
BioMed-CLIP 论文阅读笔记
qq_58400270的博客
12-09 4397
本文聚焦于将VLP（vision-language processing）拓展到生物医学领域，介绍了一种迄今为止最大的生物医学VLP研究（使用了从PubMed Central中提取的15M 图像文本对）
GLoRIA：医疗影像识别的高效标签学习框架
gitblog_00079的博客
06-12 1166
GLoRIA：医疗影像识别的高效标签学习框架 gloriaGLoRIA: A Multimodal Global-Local Representation Learning Framework forLabel-efficient Medical Image Recognition项目地址:https://gitcode.com/gh_mirrors/glo/gloria 在医疗领域，高质量的数...
Gloria 开源项目教程
gitblog_01163的博客
09-09 378
Gloria 开源项目教程 项目介绍 Gloria 是一个基于 GitHub 上的项目 marshuang80/gloria.git，尽管具体的项目详情在提供的参考资料中并未明确说明，我们可以假设这是一款专注于某个技术领域（比如Web框架、数据处理库或是自动化工具等）的开源软件。该项目旨在提供高效、灵活的解决方案，促进开发者社区的生产力。 项目快速启动 为了快速启动 Gloria 项目，首先确保你...
放射图表征学习(Radiograph Representation Learning)部分论文汇总
xiongxyowo的博客
03-27 613
放射图表征学习(Radiograph Representation Learning)部分论文汇总
【亲测免费】 GLoRIA 项目常见问题解决方案
gitblog_01036的博客
12-22 848
GLoRIA 项目常见问题解决方案 1. 项目基础介绍和主要编程语言 项目名称: GLoRIA 项目简介: GLoRIA 是一个多模态全局-局部表示学习框架，专门用于标签高效的医学图像识别。该项目通过结合全局和局部特征，能够在图像-文本检索、分类（微调和零样本设置）以及分割任务中实现高性能和标签效率。 主要编程语言: Python 2. 新手在使用项目时需要特别注意的3个问题及解决步骤 问题1: ...
GLoRIA精读20240314 （上）
a14285700的博客
03-15 1327
In recent years, the growing utilization of medical imaging is placing an increasing burden on radiologists. Deep learning provides a promising solution for automatic medical image analysis and clinical decision support. However, large-scale manually(compa
on-the-fly 动态解码
libeicuo8108的博客
05-18 1580
1.静态解码： composition determinization minimization 2. 语言模型重评估： 文章《电话交谈语音识别中基于LSTM-DNN语言模型的重评估方法研究》 声学模型只能识别语音信号中音素、音节、或者词的相似程度，但不能捕捉到词与词之间的相关性。 语言模型则可以利用不同的上下文关系，或者其他语言学信息来预测每一个词可能发生的概率。可以解决声学模型混...
MBQ: Modality-Balanced Quantization for Large Vision-Language Models
最新发布
03-11
好的，我现在需要回答用户关于Modality-Balanced Quantization (MBQ) 在大型视觉-语言模型中的应用和实现的问题。首先，我得确认自己是否了解MBQ的基本概念。记得量化是指将模型参数从高精度（如32位浮点）转换为低...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值