m0_61595251的博客

【在Pytorch中使用Tensorboard可视化训练过程】 https://www.bilibili.com/video/BV1Qf4y1C7kz/?

MLP Head 是指位于模型顶部的全连接前馈神经网络模块，用于将提取的图像特征表示转换为最终的分类结果或其他预测任务输出。MLP Head 通常跟在 Transformer Encoder 的输出之后，作为整个模型的最后一层。可以简单理解为一个全连接层，若需要类别概率需要再接上一个softmax激活函数。

超深的网络结构（突破1000层）提出residual模块使用Batch Normalization加速训练（丢弃dropout层）

MobileNet v3是Google在2019年提出的轻量级卷积神经网络结构，旨在提高在移动设备上的速度和准确性，广泛的用于轻量级网络。为满足移动设备上对高效、准确、低功耗深度学习模型的需求，并在保持计算成本适中的情况下增强模型的性能。

MobileNet v1中DW卷积在训练完之后部分卷积核会废掉，大部分参数为“0”MobileNet v2网络是由Google团队在2018年提出的，相比于MobileNet v1网络，准确率更高，模型更小。

卷积核channel=输入特征矩阵channel输出特征矩阵channel=卷积核个数卷积核的深度（channel）=1，一个卷积核只负责输入特征矩阵的一个channel维度输入特征矩阵的channel=卷积核个数=输出特征矩阵channel。

用一个4*4大小的窗口对输入图像做分割，分割后的每一个窗口在channel方向进行展平，展平后为每个像素沿深度方向进行拼接，每个像素都是RGB三通道的，16*3=48；移动后保留区域4（4*4），将区域5和区域3合并（2*4+2*4），将区域7和区域1合并（4*2+4*2），将区域8、区域6、区域2、区域0合并（2*2+2*2+2*2+2*2），将4个大区域内部进行MSA计算，减少了计算。若以蓝色为（0，0），用蓝色的相对位置索引（0，0）减去橙色的绝对位置索引（0，1）得到相对位置索引（0，-1）

MLP Head 是指位于模型顶部的全连接前馈神经网络模块，用于将提取的图像特征表示转换为最终的分类结果或其他预测任务输出。MLP Head 通常跟在 Transformer Encoder 的输出之后，作为整个模型的最后一层。MLP Block，如图下图所示，就是全连接+GELU激活函数+Dropout组成也非常简单，需要注意的是第一个全连接层会把输入节点个数翻4倍[197, 768] -> [197, 3072]，第二个全连接层会还原回原节点个数[197, 3072] -> [197, 768]