7种视觉MLP整理（上）

最新推荐文章于 2025-05-11 17:00:08 发布
原创 最新推荐文章于 2025-05-11 17:00:08 发布 · 2.6k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

如果视觉Transformer中去掉MSA部分，性能是否能达到相同的水平？或者说仅使用MLP来实现视觉任务是否可行？由此考虑到视觉MLP。

一、EANet（External Attention）

原文链接：https://arxiv.org/pdf/2105.02358.pdf

\begin{aligned} A&=\textup{Norm}(FM_k^T)\\ F_{out}&=AM_v \end{aligned}

其中M_k和M_v为可学习的参数，不依赖于输入。Norm为double normalization（分别对行和列）：

(\tilde{\alpha})_{i,j}=FM^T_k,\hat{\alpha}_{i,j}=\frac{\exp(\tilde{\alpha}_{i,j})}{\sum_k \exp(\tilde{\alpha}_{k,j})},\alpha_{i,j}=\frac{\hat{\alpha}_{i,j}}{\sum_k \hat{\alpha}_{i,k}}

二、MLP-Mixer

原文链接：https://arxiv.org/pdf/2105.01601.pdf

Mixer Layer

其中MLP为双层，层间有GELU激活函数。

网络结构

        将图像分成不重叠的patch，然后将维度投影为C，得到X输入到Mixer中。Mixer包含2个MLP，第一个作用于列（所有列共享参数），第二个作用于行（所有行共享参数）。

Mixer公式（S为patch数量）

\begin{aligned} U_{\ast ,i}&=X_{\ast,i}+W_2\sigma(W_1\textup{LayerNorm(X)}_{\ast,i}),i=1,\cdots,C\\ Y_{j,\ast}&=U_{j,\ast}+W_4\sigma(W_3\textup{LayerNorm(U)}_{j,\ast}),j=1,\cdots,S \end{aligned}

        Mixer未使用position embedding，因为token-mixing MLP对输入token的顺序敏感，有可能学习到位置信息。

三、CycleMLP

原文链接：https://arxiv.org/pdf/2107.10224.pdf

实际为上述MLP-Mixer的改进。

传统MLP主要问题：（1）空间维度的MLP不能适应不同的输入大小；（2）channel维度的MLP不能捕捉空间交互。

模型结构

Patch Embedding

        使用大小为7的窗口（步长4）将图片分为有重叠的patch。然后将patch通过线性层得到高维特征。

        不同stage之间有transition部分，减少token数量，增加channel维度。

CycleMLP块

        Channel MLP为2个线性层（channel FC）+GELU。Channel FC和输入图像大小无关，但感受野只有1个像素。

        和传统MLP相比，Cycle MLP使用了Cycle FC层，使MLP类模型能够处理不同大小的输入图片。Cycle FC使用了3个并行的Cycle FC operator。

Cycle FC输出（S_P为感受野大小）：

Y_{i,j}=\sum_{c=0}^{C_i-1}F^T_{j,c}\cdot X_{i+c\%S_p,c}

伪核

        将采样点投影到空间平面得到的区域。

四、gMLP

原文链接：https://arxiv.org/pdf/2105.08050.pdf

gMLP（g表示gating）包含L个相同的块，每个块如下：

\begin{aligned} Z&=\sigma(XU)\\ \tilde{Z}&=s(Z)\\ Y&=\tilde{Z}V \end{aligned}

其中\sigma为激活函数，s(\cdot )捕捉空间交互（当s(Z)=Z时为普通的双层MLP），\odot为按元素乘法。模型不需要position embedding，因其可由s捕捉。

        捕捉空间交互最简单的选择是线性层：

f_{W,b}(Z)=WZ+b,s(Z)=Z\odot f_{W,b}(Z)

这里s(\cdot )被称为SGU（spatial gating unit）。有点类似于SE（见5种2D Attention整理中的第三个），只是把池化变成线性层。

        同样有效的方法是，将Z沿channel分为两部分Z_1和Z_2，然后

s(Z)=Z_1\odot f_{W,b}(Z_2)

此外可以在SGU中加入一个微型注意力机制，对应的模型称为aMLP。

大盘点！22项开源NeRF SLAM顶会方案整理！（下）
3D视觉工坊
11-14 544
作者：泡椒味的口香糖 | 来源：计算机视觉工坊添加微信：dddvisiona，备注：SLAM，拉你入群。文末附行业细分群。大盘点！22项开源NeRF、SLAM顶会方案整理！（上）大盘点！22项开源NeRF SLAM顶会方案整理！（中）0. 笔者个人体会上两篇文章我们介绍了仅优化NeRF、仅优化位姿、位姿和NeRF联合优化的NeRF SLAM相关工作。本文我们将介绍物体级NeRF SLAM和雷达N...
视觉Transformer原理与代码实例讲解
AI天才研究院
07-07 988
视觉Transformer原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：视觉Transformer, 图像处理, 多尺度特征融合, 自注意力机制, 计算效率 1. 背景介
【深度学习】多层感知机（MLP）
九筠的博客
11-15 7362
多层感知机（Multilayer Perceptron，简称MLP）是一种前向人工神经网络模型，由多个神经元组成的网络层间以全连接的方式连接。MLP由若干个神经元组成的多个层次组成，其中包括输入层、隐藏层和输出层。输入层接收输入数据，并将数据传递给隐藏层。隐藏层通过激活函数将输入值转换为输出值，并将其传递到输出层。输出层给出最终的预测结果。每个神经元在隐藏层和输出层中都有权重和偏置，可以看作一个非线性的函数，它接收来自上一层神经元的输入，并根据权重和偏置进行一系列的计算，最终产生输出。
S2-MLPV2：目前最强的视觉MLP架构，空降榜一，达到83.6% Top-1准确率
我爱计算机视觉
08-06 1908
0写在前面随着ResMLP、MLP-Mixer等文章的提出，基于MLP的backbone重新回到了CV领域。在图像识别方面，基于MLP的结构具有较少的假设偏置，但是依旧能够达到与CNN和V...
多层感知器（MLP）的结构与计算原理（极简例子）
最新发布
m0_62939278的博客
05-11 1481
多层感知器（MLP）的结构与计算原理（附极简例子+详细推导）
谷歌最新提出无需卷积、注意力 ，纯MLP构成的视觉架构！网友：MLP is All You Need ？...
迈微AI研习社 · 号主
05-06 759
当前，卷积神经网络（CNN）和基于自注意力的网络（如近来大火的 ViT）是计算机视觉领域的主流选择，但研究人员没有停止探索视觉网络架构的脚步。近日，来自谷歌大脑的研究团队（原 ViT 团队）提出了一种舍弃卷积和自注意力且完全使用多层感知机（MLP）的视觉网络架构，在设计上非常简单，并且在 ImageNet 数据集上实现了媲美 CNN 和 ViT 的性能表现。
7种视觉MLP整理（下）
weixin_45657478的博客
07-15 1124
本文介绍三种视觉MLP，包含RepMLP、ResMLP和S²-MLPv2。
MLP-Mixer：一种无卷积、无注意力、纯MLP构成的视觉架构
dawnyi_yang的博客
05-09 2951
摘要 目前计算机视觉领域多采用卷积神经网络（CNN）和基于自注意力的网络（如ViT）。近日，谷歌的研究团队（原 ViT 团队）提出了一种舍弃卷积和自注意力且完全使用多层感知机（MLP）的视觉网络架构，在设计上非常简单，并且在 ImageNet 数据集上实现了媲美 CNN 和 ViT 的性能表现。 论文地址：MLP-Mixer: An all-MLP Architecture for Vision 文章结构 第一部分介绍了MLP-Mixer的宏观结构，介绍了 Mixer采用的两种类型的MLP层。 第二部分介绍
华为诺亚&北大提出新视觉 MLP 架构，性能超越Swin （附代码下载）
深度学习技术前沿
07-03 438
来源：计算机视觉研究院来自华为诺亚方舟实验室、北京大学、悉尼大学的研究者提出了一种受量子力学启发的视觉 MLP 新架构。近年来，计算机视觉领域的新型架构层出不穷，包括视觉 Transformer、MLP 等，它们在很多任务上都取得了超越 CNN 的性能，受到广泛关注。其中，视觉 MLP 具有极其简单的架构，它仅由多层感知器（MLP）堆叠而成。与 CNN 和 Transfo...
Vision MLP（CycleMLP，Swin Transformer，ConvMixer，UniNet）
nakaizura
10-29 2461
上一篇博文整理了Vision MLP（MLP-Mixer，RepMLP，ResMLP，gMLP，aMLP），这篇文章继续整理最近的一些文章。 CycleMLP: A MLP-like Architecture for Dense Prediction 现有MLP架构(比如MLP-Mixer、ResMLP、gMLP)均与图像尺寸/分辨率相关，导致它们难以向下游任务迁移。所以作者提出CycleMLP模型，即提出一种即插即用的新MLP架构CycleFC，模型架构如上，其可以直接替换Mixer里面的spatial
MLP-Mixer: An all-MLP Architecture for Vision
阿木寺的博客
05-05 3263
一种仅基于多层感知机（MLP）的体系结构！可比肩并旨在超越成熟的CNN和大火的视觉Transformer的阵营工作，代码即将开源！ PS：这个能引爆一波视觉MLP工作么？也许之后是CNN、Transformer、MLP几大阵营了…谷歌继续挖坑，太强了！ 注1：文末附【Transformer】交流群 注2：整理不易，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code ​ MLP-Mixer: An all-MLP Archi
【读论文】多视角视觉BEV感知论文不完全整理
Vehicle_jyw的博客
09-04 1266
多视角BEV感知近年来已经逐渐收敛（卷无可卷），总结了一系列主流论文，其中主要分为两个部分：LSS-based的深度估计方法、transformer-based的BEV query方法，主要都是致力于解决2D到3D的转换，还有两篇关于BEV部署的文章，，BEV方案的真正落地仍然比较困难。
ViP解读：视觉MLP结构新作
周先森爱吃素的博客
06-26 3154
解读最近一篇视觉MLP的工作，ViP，论文为《Vision Permutator: A Permutable MLP-Like Architecture for Visual Recognition》。
【视觉 Transformer】超详细解读 MLP-Mixer 模型
m0_63642362的博客
01-15 8504
MLP 结构又回来了？无需 Attention 就能在 ImageNet-1K 上获得最高 Top1 87.8% 性能！
多层感知器（MLP）
慕云
03-16 443
多层感知器（神经网络) 如果逻辑回归模型是单个神经元：计算输入特征的加权和，然后使用一个激活函数（或传递函数）计算输出。 单个神经元（二分类） 多个神经元（多分类） 单层神经元的缺陷 无法拟合“异或”运算，使用单层的神经元确实没有办法解决。 神经元要求数据必须是线性可分的 异或 问题无法找到一条直线分割两个类 多层感知器 生物的神经元一层一层连接起来，当神经信号达到某一个条 件，这个神经元就会激活，然后继续传递信息下去。 为了继续使用神经网络解决这种不具备线性可分性的问题， 采取在神经网络的输入端和输
清华提出RepMLP：FC“内卷”，卷出性能！
阿木寺的博客
05-30 668
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：丁霄汉|已授权转载（源：知乎）https://zhuanlan.zhihu.com/p/375422742...
全网首篇深度剖析PoolFormer模型，带你揭开MetaFormer的神秘面纱
AI浩
12-29 3157
这篇文章详细的介绍了PoolFormer模型，我是结合论文和官方的代码理解的，如果有不对的地方，欢迎大家指出来。
CNN、Transformer、MLP三大架构之战！经验性分析！
阿木寺的博客
12-30 2325
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：GiantPandaCVViT的兴起挑战了CNN的地位，随之而来的是MLP系列方法。三种架构各有特点，为了公平地...
MLP-Mixer: An all-MLP Architecture for Vision翻译
nopSled
05-27 642
摘要 　　卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如Vision Transformer）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。我们介绍了MLP-Mixer，这是一种完全基于多层感知器（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种将MLP应用于图像单个patches（即“混合”每个位置特征），另一种将MLP应用到多个patches（即“混合”空间信息）。在大型数据集上进行训练或采用现代正则化方案进行训练时
视觉和毫米波雷达融合框架
04-02
<think>嗯，用户想了解视觉和毫米波雷达融合的框架或解决方案。首先，我需要结合提供的引用内容来整理现有的方法。根据引用[1]和[2]，毫米波雷达和视觉融合属于多模态信息融合，各有优势。引用[2]提到了CenterFusion，这是一个基于中心点检测的框架，使用截头体方法关联雷达检测和目标中心，补充图像特征。这可能是一个具体的解决方案。 然后，用户可能想知道不同的融合层次，比如数据级、特征级和决策级。引用[1]提到原始雷达数据和视觉图像的融合能提供更丰富的信息，但挑战在于处理不同模态的噪声和相关性。因此，在数据级融合方面，需要同步传感器数据，并进行空间对齐，比如外参标定和时间同步。 特征级融合方面，CenterFusion的例子是生成雷达特征图并与图像特征结合，这属于中间层次的融合。引用[2]指出，这种方法能提升速度估计，但可能丢弃仅由雷达检测的目标，这是需要注意的缺点。 决策级融合则是各自处理后再综合结果，比如目标检测后融合，但可能存在信息损失。需要权衡实时性和精度。 另外，用户可能关心挑战和未来方向。引用[1]提到多模态融合的挑战，包括噪声处理和信息挖掘。而引用[2]中的问题，如依赖图像BEV中心预测的可靠性，可能需要更优的BEV表示方法，比如使用Transformer或雷达辅助深度估计。 还要考虑实际应用中的数据集问题，引用[1]指出现有数据集提供后处理的雷达数据，可能丢失信息。因此，使用原始雷达数据可能更有优势，但处理起来更复杂。 最后，需要确保回答结构清晰，分层次说明框架，并结合具体例子，如CenterFusion，同时提到挑战和解决方案。可能还需要推荐相关数据集或学习资源，但根据引用[4]，课程信息可能过时，暂时不提及。总结出几种主流框架，并指出各自的优缺点，帮助用户理解选择。</think>### 视觉与毫米波雷达融合框架的解决方案 #### 1. **融合层次分类** 视觉与毫米波雷达的融合框架可分为以下三种模式： - **数据级融合**：将原始点云数据（毫米波雷达）与图像像素（视觉）直接对齐融合，例如通过空间投影或时间同步，需要解决传感器外参标定问题[^1]。例如： $$ z_{\text{fused}} = \alpha \cdot z_{\text{radar}} + (1-\alpha) \cdot z_{\text{visual}} $$ - **特征级融合**：分别提取视觉的语义特征（如CNN特征图）和雷达的物理特征（如速度、反射强度），再通过注意力机制或跨模态Transformer进行关联[^2]。 - **决策级融合**：各自独立完成目标检测/跟踪后，通过贝叶斯滤波或匈牙利算法融合结果，但可能丢失底层关联信息[^1]。 #### 2. **典型框架案例** - **CenterFusion框架**（引用[2]）： 1. 基于视觉检测目标的中心点生成截头体（截锥形区域）； 2. 将雷达点云投影到图像坐标系，筛选位于截头体内的雷达点； 3. 构建雷达特征图并与视觉特征图融合，回归目标深度、速度等属性。 ```python # 伪代码：雷达-视觉特征融合 radar_feats = project_radar_to_image(radar_points, calib_params) visual_feats = backbone_cnn(camera_image) fused_feats = concatenate(radar_feats, visual_feats) pred_3dbox = detection_head(fused_feats) ``` 该框架显著提升速度估计精度，但对纯雷达检测目标存在漏检风险。 - **BEV融合框架**： 1. 将视觉图像通过IPM变换或MLP生成BEV（鸟瞰图）表示； 2. 将毫米波雷达点云栅格化为BEV网格； 3. 使用3D卷积或Transformer融合双模态BEV特征，输出联合感知结果。 #### 3. **关键技术挑战** - **时空对齐**：需精确标定雷达与相机的外参，并通过硬件同步（如PTP协议）解决时间戳差异[^1]； - **噪声抑制**：雷达多径反射和视觉光照变化需设计鲁棒的特征选择机制； - **信息互补性挖掘**：利用雷达穿透性（如雨雾环境）与视觉高分辨率特性，例如通过门控网络动态分配权重。 #### 4. **工业界应用方向** - **自动驾驶障碍物检测**：融合视觉语义分割与雷达距离/速度测量，提升AEB（自动紧急制动）可靠性； - **SLAM建图**：毫米波雷达提供运动估计，视觉提供回环检测，适用于隧道等GPS失效场景[^3]； - **低成本ADAS**：用4D毫米波雷达替代部分激光雷达功能，与视觉联合实现L2+级自动驾驶。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

byzy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值