Resnet_50网络结构图

ResNet（Residual Neural Network）是2015年由Kaiming He等人提出的革命性深度神经网络架构，在ImageNet竞赛中以3.57%的错误率夺冠，并深刻影响了深度学习的发展方向。

resnet50

上图意思是在该模块传入x后，对x经过两种处理：一是分别经过卷积核是3X3和1X1的两次卷积处理，当然，两次卷积处理都有BN+relu，处理后得到输出f(x)；二是对x做shape改变，即做下采样变换，保证x与f(x)的shape相同，然后将这两种不同处理的输出相加。这样做的好处是模块的最终输出既保留上一层的详细信息，又增加了两次卷积的加强信息，主要防止深层网络的梯度消失。首先是起始阶段的输入层，即layer0层，由一个7x7，步距为2的卷积+BN+relu，加上3x3最大值池化，步长为2的池化层构成。

11111

可视化CNN， AI算法的搬砖真实性！

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。一说起“深度学习”，自然就联想到它非常显著的特点“深、深、深”（重要的事说三遍），通过很深层次的网络实现准确率非常高的图像识别、语音识别等能力。因此，我们自然很容易就想到：深的网络一般会比浅的网络效果好，如果要进一步地提升模型的准确率，最直接的方法就是把网络设计得越深越好，这样模型的准确率也就会越来越...

resnet网络分为18、34、50、101、152层，如下图。50 101 150残差网络的基本结构。下图是以50层残差网络结构的流程图。18\30层残差网络的基本单元。

它分成两个基本模块，一个是basic block，另一个是bottle neck模块，一般层数较低的用basicblock搭建，层数较深的用bottle neck模块，resnet50用的是bottleneck搭建的，两个模块的网络结构如图下。为什么有多余的一个边，通俗讲就是为了可以搭建更深的网络，采用F(X)+X求它的梯度比F(X)的梯度更不容易导致梯度下降。另一种说法是当这一层的卷积权重不那么重要的时候就可以直接连接下一部分，也就是那条多的线，而忽略掉卷积权重这一部分。结果与图2的网络结构是一致的。