梯度消失、爆炸原因

为了降低内部协变量偏移所带来的负面影响，在训练过程中一般会采用非饱和型激活函数（ReLU）、精细的网络参数初始化，保守的学习率，但这不仅会使得网络的学习速度太慢，还会使得最终效果特别依赖于网络的初始化。：如果网络权重的初始值设置得太小，那么在前向传播过程中，输入信号可能会迅速衰减，导致激活函数的输入值非常小，进而使得梯度在反向传播过程中也迅速减小。在这个过程中，每一层的输入都是前一层的输出，而每一层的输出则作为下一层的输入。：根据损失函数，计算输出层的预测值与实际值之间的差异，得到输出层的误差。

梯度爆炸（Gradient Explosion）是深度学习中一种常见的优化问题，指在模型训练过程中，梯度（损失函数对参数的偏导数）的数值变得异常巨大，导致模型参数更新幅度过大，甚至超出合理范围，最终使模型无法收敛或性能严重下降。梯度爆炸的本质与表现在反向传播算法中，模型参数的更新依赖于梯度的计算。对于深层神经网络，梯度需要从输出层反向传播到输入层，过程中可能涉及多个矩阵乘法（或链式求导）。

1. 前向传播和反向传播 在讲解梯度消失和梯度爆炸之前，我们需要先了解什么是前向传播和反向传播。 前向传播： 输入层数据开始从前向后，数据逐步传递至输出层。 反向传播： 损失函数从后向前，梯度逐步传递至第一层。 在讲解前向传播和反向传播计算过程之前，我们先介绍一下计算图的概念，通过计算图可以很清楚的了解后向传播的计算过程，以3层网络为例。 蓝色圆圈表示运算操作，分别为乘法，激活函数，乘法，损失函数；白色框框表示传播的数值；蓝色框框表示权重； 前向传播不同多说，不断的乘以权重在通过激活函数即可； 反向传播的

前言 本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。 其中，梯度消失爆炸的解决方案主要包括以下几个部分。 - 预训练加微调 - 梯度剪切、权重正则（针对梯度爆炸） - 使用不同的激活函数 -

梯度消失产生的主要原因有：一是使用了深层网络，二是采用了不合适的损失函数。 （1）目前优化神经网络的方法都是基于BP，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助。而链式法则是一个连乘的形式，所以当层数越深的时候，梯度将以指数形式传播。梯度消失问题一般随着网络层数的增加会变得越来越明显。在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时，得到的梯度值接近0，也就是梯度消失。 （2）

梯度爆炸是指在神经网络训练过程中，反向传播时计算的梯度值变得非常大（趋向于无穷大），导致模型参数更新过大，损失函数值剧烈震荡甚至发散，最终模型无法收敛。直观理解：想象你在调整一个滑块来优化某个目标，但每次调整的幅度都过大，导致滑块完全偏离目标位置，甚至“飞出去”。梯度爆炸：梯度过大，导致参数更新过大，损失震荡或发散。解决方法包括梯度裁剪、权重初始化、降低学习率、使用稳定优化器。梯度消失：梯度过小，导致参数更新缓慢，训练停滞。

通常发生在深度神经网络中，特别是使用Sigmoid或Tanh等激活函数时。它会导致前面几层的梯度接近零，从而使得这些层几乎无法学习。解决方法包括使用ReLU激活函数、良好的权重初始化、批量归一化和残差网络等。

一、引入：梯度更新规则目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，更新优化深度网络的权值。这样做是有一定原因的，首先，深层网络由许多非线性层堆叠而来，每一层非线性层都可以视为是一个非线性函数 f(x)，因此整个深度网络可以视为是一个复合的非线性多元函数：我们最终的目的是希望这个多元函数可以很好的完成输入到输出之间的映射。二、梯度消失、爆炸的原因下图...

参数通过梯度下降进行更新，梯度消失导致参数无法更新 1.梯度特别小导致无法更新参数 z = wx-2 y = σ(z) σ是标准logistic函数 训练样本 (1,0.8)，所以y_target = 0.8 初始值w=-8 y = σ(-8*1 - 2) ≈ 0.00005，可见与目标值相差很大，需要进行训练参数w 损失函数为平方损失函数 w通过梯度下降法进行更新 学习率 lr=0.1 可以看出w≈-8，∂L/∂w≈-7E-5 这就是梯度接近于0，w无法通过梯度下降法...

梯度消失（vanishing gradient） 梯度消失问题是由于在神经网络中使用sigmoid激活函数导致的，解决方法是更换激活函数，比如换为ReLU或maxout。

一：梯度消失 　　通常神经网络所用的激活函数是sigmoid函数，这个函数有个特点，就是能将负无穷到正无穷的数映射到0和1之间，并且对这个函数求导的结果是f′(x)=f(x)(1−f(x))。因此两个0到1之间的数相乘，得到的结果就会变得很小了。神经网络的反向传播是逐层对函数偏导相乘，因此当神经网络层数非常深的时候，最后一层产生的偏差就因为乘了很多的小于1的数而越来越小，最终就会变为0，从而导致...