GPT和GPT2结构的区别_gpt结构图-CSDN博客

本文链接：https://blog.csdn.net/znevegiveup1/article/details/123567317

本文探讨了GPT2的结构特点，特别是其在transformers之后加入的LayerNorm层，并对比了不同设置下残差单元的计算公式及反向传播过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

GPT1结构图如下所示：
GPT1示意图片 GPT2结构图如下：
GPT2结构示意图注意，GPT2的最后一个LayerNorm在24个transformers或是12个transformers结构之后添加的，
这里layernormalization放在前面类似于预激活函数的设定，在另外一篇文章Identity mappings in deep
residual networks.
这里在Idenity mapping in deep residual networks之中有推导过程，这里简单的写一下
原始残差单元计算公式如下：
$y_{l} = h(x_{l})+F(x_{l},W_{l})(1)$
$x_{l+1} = f(y_{l}) (2)$
l为第l个单元输入的特征
其中F代表残差函数，我们假设函数h为恒等变换，则将(2)代入(1)中可以获得
$xl+1=xl+∑i=1L−1F(xl,Wl)(3)x_{l+1} = x_{l}+ \sum\limits_{i=1}^{L-1}F(x_{l},W_{l}) (3)$
通过反向传播的链式法则进行求导，可以得到结果
$∂E∂xL=∂E∂xL∗∂xL∂xl=∂E∂xL(1+∂∂xl∑i=1L−1F(xi,Wi))\frac{\partial E}{\partial x_{L}} = \frac{\partial E}{\partial x_{L}} * \frac{\partial x_{L}}{\partial x_{l}} = \frac{\partial E}{\partial x_{L}}(1+\frac{\partial }{\partial x_{l}}\sum \limits_{i=1}^{L-1}F(x_{i},W_{i}))$
如果说这里的 $h(x_{l})$ 不为恒等函数的情况下
$∂E∂xL=∂E∂xL∗∂xL∂xl=∂E∂xL(∑i=1L−1xi+∂∂xl∑i=1L−1F(xi,Wi))\frac{\partial E}{\partial x_{L}} = \frac{\partial E}{\partial x_{L}} * \frac{\partial x_{L}}{\partial x_{l}} = \frac{\partial E}{\partial x_{L}}( \sum\limits_{i=1}^{L-1}x_{i}+\frac{\partial}{\partial x_{l}}\sum \limits_{i=1}^{L-1}F(x_{i},W_{i}))$