中学生就能看懂：从零开始理解LLM内部原理【八】｜ 什么是残差连接？

前两篇中分别讲解了自注意力（Self-Attention）和Softmax，它们是大语言模型（LLM）中核心的计算模块。自注意力帮助模型从输入序列中自主学习哪些位置更相关，Softmax 将注意力分数转化为概率分布，为后续计算提供权重。今天我们来介绍在深层神经网络训练中的一个关键主角残差连接（Residual Connection）。

01

为什么需要“残差”连接？

在大型语言模型（LLM）中（比如 Transformer）信息会依次经过多个模块的加工，比如：

• 自注意力模块（理解词语之间的关系）
• 前馈网络模块（提取更深层的特征）

传统做法是：每个模块处理完信息后，将输出交给下一个模块，就像流水线那样。但现代大模型（比如 GPT、BERT、Claude）拥有几十层甚至上百层神经网络结构，就像“千层蛋糕”一样，但层数越多，越容易遇到两个问题：

• *网络退化***：**你以为层数越多模型越强，但有时反而精度下降，训练更难

• *梯度传导困难*：训练信号（梯度）难以顺利传播回前层，学习速度慢甚至失败。

这就像耳语传话的游戏，从第一个人到最后一个人传递同一个信息，每传递一次，信息就可能因听力误差或主观联想被修改，或者是有人加一些添油加醋的噪音信息，原始信息就会被逐渐“淹没”。在神经网络层数过多时，模型可能因优化难度增加而 “学偏”，无法拟合真实数据分布，或者过度拟合噪声，导致精度下降等。

*所以，在神经网络复杂的层次结构中，由于信息传递链条越长，保持完整性和准确性的难度越高*，而深度学习的残差连接、归一化层（下一节）等技术，正是为了缓解这类问题。

02

“残差”连接如何工作？

在神经网络中，残差连接（Residual Connection）就像这样一条“捷径”：它让信息在经历中间复杂的处理步骤的同时，还直接从输入传递到输出，以合并信息。

如果把每一层看作是流水线中的一个加工环节，那么残差连接就是：

把“原材料”（输入）和“半成品”（这一层的输出）直接相加，再送入下一层。你可以认为每一层的输出是：

输出 = F(x) + x

其中：

• x 是输入（原始信息）
• F(x) 是经过模块（比如自注意力）的处理结果

输入信息（原材料）不仅通过了自注意力模块（加工机器），还通过一条额外的“连接线”直接与自注意力模块的输出结果“相加”，最终形成新的输出。这条直接连接输入和输出的“线”，就是我们所说的“残差连接”。

这样，每一层都把“原始信息”直接传递下去，就能够确保“大方向”不偏。而且即使 F(x) 表现不佳，网络依然可以退化为“恒等映射”，起码不会破坏输入信息。这也让梯度反向传播更稳定，因为梯度可以沿着残差路径“直达”前层，减少衰减。（反向传播与梯度下降翻阅：中学生就能看懂：从零开始理解LLM内部原理【二】｜神经网络如何被训练？）

03

“残差”连接为什么可以工作？

你可能会问：为什么能直接把输入和输出相加？答案是：**它们“形状一致”，也就是“大小相同”。还记得吗，**在神经网络里，“信息”通常表示成一组数字（向量），它的“大小”通常用“维度”来表示，你可以简单地理解为，这是描述信息所需的不同“方面”或“特征”的数量。比如：

x = [1.0, 2.5, -0.3]F(x) = [0.5, -1.5, 0.2]

这是两组纬度相同的信息表示（当然实际的表示要复杂的多），它们就可以相加。

为此，神经网络的设计者会确保模块的输出和输入“尺寸对齐”，就像工厂中不同机器之间必须有相同宽度的传送带才能对接一样。

这样我们就可以顺利地进行“残差连接”这个操作了。

残差连接看似只是在层与层之间多做一次“相加”，却能让深度模型的训练变得稳健、层数可以任意堆叠，也正是 Transformer、GPT 等大语言模型能够轻松达到上百层的关键手段之一。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈