文章系统介绍了大语言模型的核心技术，包括预训练策略(如优化任务设计、知识迁移)、适配微调(指令微调、参数高效微调如LoRA)、提示学习(少样本、零样本、思维链)及知识增强(知识增广、支撑、约束和迁移)。全面涵盖模型训练优化、任务适配和性能提升的关键方法，为学习者提供从基础到应用的完整技术路径。
大语言模型技术主要包括: 模型预训练、适配微调、提示学习、知识增强和工具学习等。
1.1 预训练
高效预训练策略。其主要思路是采用不同的策略以更低成本实现对语言大模型的预训练。
1）优化任务设计：在预训练阶段构建高效的优化目标，促使模型充分挖掘每个样本的监督信号，进而提升训练效率。
2）热启动机制：采用学习率线性递增的初始化方式，缓解因单纯扩大批处理规模而引发的优化困境。
3）分层渐进训练：突破传统统一超参数优化的框架，基于各层自注意力模式的相似性，先训练浅层模型再通过复制扩展至深层结构。
4）知识迁移技术：融合当前文本与已有预训练大模型的知识双重学习。实验表明，CPM-2应用该技术后，中文大模型预训练初期效率提升达37.5%。
5）可预测扩展（Predictable Scaling）：依托大小模型的同源特性，通过小模型性能曲线拟合预测大模型表现。
例如，OpenAI利用千分之一至万分之一计算资源的小模型，成功预判GPT-4部分性能，显著降低训练成本。
BERT 之后的 Transformer 架构在提高自然语言处理效率方面有两个重要优化方向:
(1)统一的序列建模
首先将多种自然语言处理任务(如分类、信息抽取、翻译、对话等)整合到一个统一的框架，然后在同一模型中执行多个任务，以实现更高效的自然语言处理。
1）一是转化为序列生成的统一任务，如 T5和 BART等将多种自然语言任务统一转化文本到文本的生成任务。
2）二是转化为语言大模型预训练任务，通过语言提示在输入文本中插入人类设计或者自动生成的上下文，实现对不同任务的处理。
(2)计算高效的模型架构。
从Transformer 模型架构本身在处理训练复杂度、编解码效率、训练稳定性、显存利用等方面进行优化。
例如，Transformer的并行处理机制牺牲了推理效率，其解码过程每一步的复杂度达到O(N)，同时该模型对显存需求极高，随着输入序列长度增加，内存消耗呈线性增长。
针对这一问题，微软推出的RetNet架构创新性地结合了线性化注意力与尺度保持（Retention）机制，在模型性能基本不变的前提下，显著提升了训练速度、推理效率并降低了内存占用。
混合专家化的模型架构
针对自注意力机制的高显存占用问题，斯坦福大学在Transformer模型中提出了FashAttention，该算法通过IO感知设计实现了高速计算与内存效率的平衡，现已被主流大模型广泛用于支持超长文本处理。
当前，模块化大模型架构成为研究热点，该方法基于神经激活的稀疏特性，将稠密模型分解为多个模块，使不同任务仅需激活部分模块即可完成训练与推理，显著提升效率。
代表性成果包括：Google的Switch Transformers与Pathways架构、清华大学的MoEfication架构及FastMoE架构等。
Switch Transformers模型架构
1.2 语言大模型的适配微调
语言大模型在通用领域的大规模预训练往往难以覆盖特定任务或领域的专业知识，因此需要通过微调进行适配。
微调能够使模型更精准地满足特定场景需求（例如处理医疗记录等敏感数据），且无需直接暴露原始数据。
同时，微调还能优化部署效率并降低计算资源消耗。在适配微调技术中，指令微调（Instruction Tuning）和参数高效学习是两大核心方法。
指令微调通过训练语言大模型使其具备理解并执行人类指令的能力，从而在零样本条件下泛化至新任务。
其学习框架虽与多任务提示微调类似，但本质差异在于：提示微调侧重调整提示以适应模型，而指令微调强调模型主动对齐人类指令，即在包含任务说明的提示下生成特定响应。
该技术的研究涵盖指令理解、指令数据构建及指令对齐等方向。
(1) 指令理解，即语言大模型能够精准解析人类语言指令，这是其有效执行任务的基础。
为提升指令理解能力，当前研究普遍采用多任务提示方法，通过在包含丰富指令描述的任务集合上对语言大模型进行微调（例如FLAN、InstructGPT等），这些模型在陌生任务中展现出卓越的零样本学习表现。
(2) 指令数据获取，指如何构建包含多样性的任务指令数据。指令数据构建 常见有三种方式
1）基于公开人工标注数据构建，代表指令数据集包括 1616 种不同任务的 Super-Natural Instruction、2000种不同 NLP任务的 OPT-IML。
2）借助语言大模型的自动生成构建，如 Unnatural Instructions ，通过种子指令作为提示让语言大模型生成新的指令描述和问题，然后再输入到模型让其输出回答。
3）基于人工标注方法，如 ChatGPT 在人工标注指令的基础上通过 GPT-3、InstructGPT 等在线平台收集用户真实指令数据。
(3)指令对齐，语言大模型在多种自然语言处理任务上都展现了卓越的性能。然而，它们有时可能会出现不预期的行为，如创造虚假信息、追求错误目标或产生有偏见的内容。
问题的根源在于，语言大模型在预训练阶段仅依赖语言模型进行数据建模，未融入人类的价值观或偏好。
针对这一缺陷，学界引入“指令对齐”概念，旨在使模型输出更贴近人类需求。然而，这种对齐方式与传统预训练存在差异，其核心聚焦于提升输出的有用性、诚实性和无害性。
指令对齐可能削弱模型的部分通用性能，这种现象被定义为“Alignment Tax”。为促进模型输出与人类价值观的一致性，InstructGPT 开发了基于人类反馈的强化学习微调方法，将人工反馈直接整合至模型优化流程。
实践中，ChatGPT 同样沿用了类似InstructGPT 的技术路径，以保障生成内容的高质量与安全性。随着指令对齐技术的普及，微调范式正从传统的数据驱动学习逐步转向以人类反馈为核心的新范式。
参数高效微调(Parameter-Efficient Tuning)
早期以 BERT 为代表的微调方法，是在大模型基座上增加一个任务适配层，然后进行全参微调，但是这种方法存在两方面的问题:
1.一是任务"鸿沟”问题，预训练和微调之间的任务形式不一致，这种差别会显著影响知识迁移的效能。
2.二是高计算成本，语言大模型的参数规模不断增长，导致模型全参微调也需要大量计算资源。
解决以上问题的有效途径是参数高效学习，即通过仅微调少量参数实现大模型在下游任务上获得全参微调效果。
目前许多参数高效微调方法被提出，这些方法大致可分为3类
(1) 添加式方法：通过在原模型中嵌入新增模块或参数，并仅对新增部分实施参数微调。
典型代表为适配器(Adapter)技术，其将轻量级神经模块（适配器）集成至预训练模型，仅训练这些适配器即可实现模型适配。
工程实践中，适配器模块常被部署于多头自注意力机制与前馈网络层之间，已成为主流解决方案。
(2) 指定式方法：明确设定模型中特定参数为可训练状态，其余参数保持冻结。
该方法兼具简洁性与高效性，例如仅激活模型偏置项进行优化而固定其他参数时，仍能达到超过95%的全参数微调效果。
(3) 重参数化方法：将原模型参数映射至低维空间，仅优化该空间中的近似参数，从而大幅减少计算资源与内存占用。
以LoRA为例，其通过将自注意力模块的权重变化分解为两个低秩矩阵的乘积实现参数压缩，即：
Prefix-Tuning
Prefix-Tuning 固定 PLM 的所有参数，只更新优化特定任务的 prefix。
因此，在生产部署时，只需要存储一个大型 PLM 的副本和一个学习到的特定任务的 prefix，每个下游任务只产生非常小的额外的计算和存储开销。
Full VS Emb-only
embedding-only表示只有在embedding层添加前缀token，而full表示每一层都添加前缀token。
实验表明: prefix-tuning>embedding-only>discrete prompting
Prifix VS Infix
prefix-tuning 表示可训练参数放在开头，infix-tuning 表示可训练token放在中间位置
结果表明: prefix-tuning>infix-tuning
Prompt-Tuning
Prompt-tuning可视为prefix-tuning的简化形式。
该方法保持预训练模型参数完全冻结，仅针对不同下游任务在输入文本前添加s个可训练的真实tokens（与prefix-tuning不同，此处tokens为实际文本内容），且不引入额外编码层或任务专属输出层。
一系列对比实验，都在说明: 随着预训练模型参数的增加，一切的问题都不是问题，最简单的设置也能达到极好的效果。
Prompt长度影响: 模型参数达到一定量级时，Prompt 长度为1也能达到不错的效果，Prompt长度为20就能达到极好效果。
Prompt初始化方式影响: Random Uniform方式明显弱于其他两种，但是当模型参数达到一定量级，这种差异也不复存在。
预训练的方式: LM Adaptation的方式效果好但是当模型达到一定规模，差异又几乎没有了。
微调步数影响: 模型参数较小时，步数越多，效果越好。同样随着模型参数达到一定规模，zeroshot 也能取得不错效果。
P-tuning-V1版本
P-Tuning 的方法思路与Prefix-Tuning非常相似，P-Tuning通过少量连续的embedding参数作为prompt来优化GPT在NLU任务上的表现，而Prefix-Tuning则是专门为NLG任务设计的。
此外，P-Tuning仅在embedding层引入额外参数（采用MLP+LSTM进行初始化），而Prefix-Tuning则在每一层都加入了可训练参数（采用MLP初始化）。
P-Tuning 提出将 Prompt 转换为可以学习的 Embedding 层，只是考虑到直接对 Embedding 参数进行优化会存在这样两个挑战：
Discretenes: 对输入正常语料的 Embedding 层已经经过预训练，而如果直接对输入的 prompt embedding 进行随机初始化训练，容易陷入局部最优。
Association: 没法捕捉到 prompt embedding 之间的相关关系。作者提出使用 MLP+LSTM 的方式对 prompt进行初始化处理。
P-tuning-V2版本
V2的思路和 prefix-tuning 相似，在模型的每一层都应用连续的 prompts 并对 prompts 参数进行更新优化。同时该方法是针对 NLU 任务优化和适配的。
LoRA
Adapter Tuning 在 PLM 基础上添加适配器层会引入额外的计算，带来推理延迟问题。
Prefix Tuning 难以优化，其性能随可训练参数规模非单调变化，更根本的是，为前缀保留部分序列长度必然会减少用于处理上下游任务的序列长度。
LoRA 论文提出了一种计算和存储高效的低秩(Low-Rank)表示方法，具体地Transformer等神经网络包含许多执行矩阵乘法的密集层，这些权重矩阵通常具有满秩。
QLoRA
可以认为是LoRA的升级版本，体现在：
NormalFloat4(NF4): 一种论文新提出的数据类型，对于正态分布权重而言信息理论上是最优的新数据类型; 可以简单认为是尽可能减少优化过程中数据精度损失的作用。
双重量化(Double Quantization): 通过量化常数来减少平均内存占用。
分页优化器(Paged Optimizers): 用于管理内存峰值。
1.3 语言大模型的提示学习
指令提示(Instruction Prompt)，也称为提示学习。
指令提示核心思想是避免强制语言大模型适应下游任务，而是通过提供“提示(Prompt)”来给数据嵌入额外的上下文以重新组织下游任务，使之看起来更像是在语言大模型预训练过程中解决的问题。
指令提示有三种形式：
1.少样本提示：即在自然语言提示后添加若干示例数据，作为语言大模型的输入内容。
这种方法能够增强语言大模型在跨领域和多样化任务中的适应能力与表现稳定性。
然而，少样本提示也面临若干难点，例如示例数量的合理设定、示例的筛选标准等。
2.零样本提示：即完全依赖精心设计的提示语，无需提供任何示例数据，直接激发语言大模型与目标任务相关的内在能力。
其核心难点在于提示语的设计优化以及最佳提示方案的选择。
3.上下文学习（In-context Learning, ICL），亦称情境学习：通过将自然语言问题直接输入语言大模型，并以其生成的答案作为输出结果。
本质上，这是一种特殊的少样本提示形式，问题中已隐含包含任务目标与格式要求。
该方法能简化问题表述与答案生成流程，并具备处理多类型、复杂问题的灵活性。其实施挑战主要集中于问题质量的把控以及答案准确性的评估。
思维链(Chain-of-Thought，CoT)。推理的过程通常涉及多个推论步骤，通过多步推理允许产生可验证的输出，可以提高黑盒模型的可解释性。
思维链作为一种提示策略，在激发语言模型的多步推理方面具有显著效果。
它通过引导模型生成问题解决的中间推理步骤，模拟人类处理复杂任务时的思考过程。
在具体实现上，思维链提示用包含自然语言推理步骤的示例替代了传统少样本提示中的简单输入-输出对，从而构建起"输入-思维链-输出"的三元组框架。
这种能力被视为语言模型的一种"涌现特性"，通常需要模型达到足够大的参数规模才能显现。
要激活模型的思维链能力，关键在于提供包含逐步推理过程的演示作为提示条件，每个演示都应包含具体问题及其对应的完整推理路径，最终导向正确答案。
语言大模型的知识增强
知识运用和推理能力是衡量语言大模型智能水平的重要因素。
美国 Allen AI 研究大模型的问答能力，发现 GPT在处理具有预设立场(false premise)的简单性常识性问题时，如类似“太阳有几只眼睛?”，GPT仍然会给出“太阳两只眼睛”的荒谬回复。
有效的解决方法是在深度学习模型基础上融入各类型相关外部知识。
根据大模型知识融合部位不同，知识融合方法从模型输入、神经架构、模型参数、输出等不同层面，大致分为以下4 类，如图所示：
语言大模型知识增强的 4 种途径
知识增广：模型输入端增强存在两大主流路径：其一是将知识直接融入输入数据，其二通过设计专用模块实现原始输入与知识化表征的有机融合。
知识支撑：聚焦于优化知识嵌入模型的内部处理机制。
一方面可在模型底层增设知识引导层以提升特征表征质量，例如通过知识记忆模块向大模型底层注入深度特征。
另一方面，知识亦可作为顶层专家模块参与后处理计算，从而优化最终输出效果。
知识约束：通过知识体系构建辅助性预测目标与约束条件，强化模型的基础目标函数。
典型如远程监督学习采用知识图谱启发式标注作为新训练目标，该技术已成熟应用于实体识别、关系抽取等NLP任务。
此外，知识还可衍生出独立的预训练目标，与基础语言建模任务形成互补。
知识迁移：作为关键知识载体，模型知识可直接服务于下游任务（如参数初始化）。
迁移学习与自监督学习构成该领域两大支柱。当前以BERT为代表的预训练模型，已成为自然语言处理领域知识迁移的核心技术方案。
如何学习AI大模型 ？
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓
CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】
读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈
对于0基础小白入门：
如果你是零基础小白，想快速入门大模型是可以考虑的。
一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
👉1.大模型入门学习思维导图👈
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
👉2.AGI大模型配套视频👈
很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
👉3.大模型实际应用报告合集👈
这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）
👉4.大模型实战项目&项目源码👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战项目来学习。（全套教程文末领取哈）
👉5.大模型经典学习电子书👈
随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
👉6.大模型面试题&答案👈
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）
为什么分享这些资料?
只要你是真心想学AI大模型，我这份资料就可以无偿分享给你学习，我国在这方面的相关人才比较紧缺，大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
CSDN粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】
读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈
扫一扫
692
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
