通俗理解分组卷积

最新推荐文章于 2025-04-18 07:39:13 发布
最新推荐文章于 2025-04-18 07:39:13 发布
阅读量4.5k 收藏 7
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 深度学习基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/blink_cao/article/details/118391014

目录

顾名思义

分组卷积（Group Convolution）顾名思义，在对特征图进行卷积的时候，首先对特征图分组再卷积。如下图所示：
在这里插入图片描述

这样做有啥作用呢？

  1. 减少参数量，分成G组，则该层的参数量减为原来的1/G。
    feature map尺寸为CiHW，常规卷积的参数量是Ci*H*W*Co；
    分G组的分组卷积参数量是(Ci/G)*H*W*(Co/G)*G=(Ci*H*W*Co)/G；可以自己举一个简单的例子试一试。
  2. 分组卷积可以看做是对原来的特征图进行了一个dropout，有正则的效果。
  3. 如果分组的数量等于特征图通道的的数量，这样卷积就是在二维的平面进行，一个卷积核对应一个通道，这样就变成深度可分离卷积（Depthwise Convolution），见MobileNet和Xception等，参数量进一步缩减。
  4. 更进一步，如果在上一步的基础上将卷积核的大小设置为和特征图一样大，此时称为全局深度可分离卷积（Global Depthwise Convolution），见MobileFaceNet；可以看成全局加权池化（可以代替全连接层，并且相较于全连接层，有少参数、防过拟合优点）

参考

Group Convolution分组卷积，以及Depthwise Convolution和Global Depthwise Convolution

图解分组卷积
weixin_42108090的博客
11-11 733
图解分组卷积
分组卷积
jacke121的专栏
03-01 2702
Group Convolution分组卷积，最早见于AlexNet——2012年Imagenet的冠军方法，Group Convolution被用来切分网络，使其在2个GPU上并行运行，AlexNet网络结构如下： Convolution VS Group Convolution 在介绍Group Convolution前，先回顾下常规卷积是怎么做的，具体可以参见博文《卷积神经网络之卷积计算、作用与思想》。如果输入feature map尺寸为C∗H∗WC∗H∗W，卷积核有NN个，输出feat...
关于分组卷积
qq_45670407的博客
04-07 930
关于深度学习中的分组卷积
卷积 - 3. 分组卷积 详解
热门推荐
Aaron_neil的博客
11-04 1万+
1. 起源 分组卷积(Group Convolution) 起源于2012年的AlexNet - 《ImageNet Classification with Deep Convolutional Neural Networks》。由于当时硬件资源的限制，因为作者将Feature Maps分给多个GPU进行处理，最后把多个GPU的结果进行融合。如下图： 2. 分组卷积 介绍 我接下来用图来直观的展示普通卷积和分组卷积的区别： 首先，传统的 2D 卷积步骤如下图所示，输入特征为 (H × W .
分组卷积，深度可分离卷积
08-12
- *1* *2* [对深度可分离卷积、分组卷积、空洞卷积的通俗理解(上篇)](https://blog.csdn.net/qq_27825451/article/details/102457264)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{...
从直观到抽象：深入理解卷积码的编码奥秘
最新发布
zhou8201的博客
04-18 788
卷积码，从直观现象到数学推导
Octave Convolution 八度卷积
逆熵而行
01-17 2449
Facebook在2019年时推出了一种新的卷积方法，叫做Octave Convolution，中文名是八度卷积。这个名字借鉴了音乐中高音低音的命名方法，来表示图像中高低频的数据。 图像和特征图的高低频表示 对于一张图片来说，低频的数据是比较平滑的部分，也就是图像的整体结构，高频的数据是那些细节的纹理，也就是边缘像素变化比较大的部分。如图1(a)所示。 图1. 图像和特征图的高低频表示 图1(a)中左图是一张企鹅的原始图片，中间是图片分离出来的低频的部分，也就是整体轮廓图，右图是图像的高频部分，也就是图片
深度学习中小知识点系列(二十四) 深入解读可分离卷积以及深度学习中的八种卷积
专注于人工智能学习，总结
12-18 1043
深入浅出可分离卷积。
卷积神经网络（CNN）的讲解（李宏毅老师视频课总结，小白快速理解）
双鸭山•克里菲斯•北方孤星之堕
07-26 1240
0 前言 1 引子 在图像处理中常有一个问题，比如下图的一只鸟，如果要使得模型识别出鸟的信息，实际上我们并不需要学习整张图片，而是只需要关注特定部位，比如鸟嘴，羽毛等等。此时仅需要获得特定部位“窗口”的信息，就能有好的效果了。基于这种窗口思想，CNN在图像处理上有显著的效果。 因为“窗口”的存在，无论鸟嘴在哪个位置，都能探测到： 另外对于图片来说，降采样不会改变物体的形态： 2 卷积神经网络主要由这几类层构成：输入层、卷积层，ReLU层、池化（Pooling）层和全连接层（全连接层和常规神经网络中的一
13.分组卷积
机器人视觉感知
03-01 698
分组卷积最早在2012年的AlexNet中提出，当时受限于单个GPU的内存和运算能力，在通道方向上将特征图和卷积核分成ggg组分别计算，然后再将每组卷积得到的结果concatenateconcatenate后得到最终的结果。
分组卷积（图文并茂）
weixin_45074568的博客
01-12 6694
分组卷积 Group convolution是将输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积，可以说是全通道卷积，这是一种通道密集连接方式（channel dense connection），而group convolution相比则是一种通道稀疏连接方式（channel sparse connection）。 1、分组卷积的矛盾——计算量 使用group convolution的网络有很多，如Xception，Mo
分组卷积（Group Converlution）
xu.hyj
07-24 4660
分组卷积及pytorch实现
卷积中的分组卷积
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
12-07 601
左边是正常卷积，右边是分组卷积。
Group Convolution 分组卷积
ding_programmer的博客
02-27 1721
Group Convolution分组卷积 最早见于AlexNet——2012年Imagenet的冠军方法，Group Convolution被用来切分网络，使其在2个GPU上并行运行，AlexNet网络结构如下： Convolution VS Group Convolution 如果输入feature map尺寸为C∗H∗W，卷积核有N个，输出feature map与卷积核的数量相同也是N，每...
Group Convolution分组卷积
杯酒和雪的博客
11-19 506
文章目录写在前面Convolution VS Group ConvolutionGroup Convolution的用途 写在前面 Group Convolution分组卷积，最早见于AlexNet——2012年Imagenet的冠军方法，Group Convolution被用来切分网络，使其在2个GPU上并行运行，AlexNet网络结构如下： Convolution VS Group Conv...
通俗理解稀疏卷积
03-11
### 稀疏卷积的概念 稀疏卷积旨在解决传统卷积操作中存在的大量无效计算问题。当处理具有许多零值或无意义的数据集（如三维点云中的大部分为空的空间体素），常规卷积会遍历所有位置，即使其中多数并不包含有用的信息[^1]。 对于这类情况，仅针对实际存在的数据点执行运算可以显著减少不必要的开销并加速处理过程。这种方法特别适用于那些输入数据分布非常不均匀的情形，在这样的场景下应用稀疏卷积能够带来明显的性能提升。 ### 工作原理简介 流形稀疏卷积作为普通卷积的一种扩展形式，专门设计用来高效地提取存在于低密度环境下的特征向量。通过引入哈希表结构来追踪哪些地方有有效的样本存在，从而使得算法能够在遇到非零元素时才启动相应的滤波器响应机制[^2]。 具体来说： - **选择性激活**：只有当卷积核覆盖到至少一个活跃的输入位址(active input site)时才会触发输出位址(output site) 的创建与更新；如果整个感受野范围内都没有任何有意义的内容，则跳过此步。 - **内存优化**：利用哈希映射技术管理已知的有效坐标集合，避免为每一个可能的位置分配存储空间，进而节省了大量的资源消耗。 综上所述，相比于传统的密集型方法，这种策略不仅提高了运行速度而且降低了硬件需求，尤其适合应用于大规模且高度离散化的感知任务之中。 ```python import spconv from spconv.pytorch import SparseConv3d # 定义一个简单的稀疏卷积层 sparse_conv_layer = SparseConv3d(in_channels=3, out_channels=64, kernel_size=3, stride=1) # 假设input_sp_tensor是一个已经构建好的SparseTensor对象 output_sp_tensor = sparse_conv_layer(input_sp_tensor) ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值