一千零一夜的博客

前言 解决的问题：分组卷积的输出之和前面部分输入相关。 提出shufflenet unit. 在1x1的卷积后，把组内的特征，再分成g组，随机关联到后面的g组，然后对每一组都如此。 论文 ShufflfleNet: An Extremely Effificient Convolutional Neural Network for Mobile Devices https://arxiv.org/pdf/1707.01083v1.pdf shufflenet unit原理 图片(a)

前景概述 （1）mobilenetV2; （2）mobilenetV3主要贡献简单来说，有三点，一是SE-Net优化了InvertedResidual，二是使用NAS搜索出最优的网络结构，三是提出了新的激活函数h-swish. mobilenetV3论文 https://arxiv.org/pdf/1905.02244.pdf mobilenetV3网络结构（Large） 网络结构逐层分析 第1层conv2d，结构是conv2d + bn + HSwish. 注意这里的激活函数是HSw.

mobilenetV2论文：https://arxiv.org/pdf/1801.04381.pdf mobilenetV2网络结构： 网络结构逐层分析 第1层是普通的conv2d+bn+relu6. mmclassification实现层层封装，不好看，这里贴简单实现。 ef conv_bn(inp, oup, stride): return nn.Sequential( nn.Conv2d(inp, oup, 3, stride, 1, bias=False), .

lenet5简单来说，就是3个卷积层，加上2个全连接层。如下所示 （1）参数num_classes=-1, 则用作backbone，不限制输入图片大小，网络结构由2个conv+tanh+avgpool2d、1个conv+tanh，共3个卷积层组成。 （2）参数num_classes>0, 则用作分类器，限制输入图片大小(b, 1, 32, 32)，前面3个卷积层后，先view或者squeeze成一维向量，再接分类器头，该头由2个全连接层组成，即linear+tanh+linear. class

AlexNet是直筒结构。 (1) 参数num_classes=-1，则用作backbone，该backbone有3个conv+relu+maxPooling，中间2个conv+relu，共含5个卷积组成。 (2) 参数num_classes>0，则用作分类网络，前面的5层卷积后，先view，再接分类器，该分类器由2个dropout+linear+relu、1个linear，共含3个全连接层组成。 @BACKBONES.register_module() class AlexNet(BaseB