AI大模型算法-从大模型原理剖析到训练(微调)落地实战_实战课程

从原理到微调全流程实战，全面提升大模型算法开发与落地能力

全面：从0到1全链路知识体系

从大模型原理、预训练和后训练、软件框架、落地实战与部署，融入RAG、Agent应用等技能，循序渐进的构建大模型全栈技术和视野

前沿：全新大模型原理+技术

深入理解Transformer架构、混合专家系统（MoE）及DeepSeek独有的稀疏注意力优化，理解FP8混合精度训练、INT4量化推理等工业级技术；掌握核心前沿技术与原理。

深入：训练优化+核心算法

深入万亿Token数据工程，结合DeepSpeed-Megatron等大模型训练框架；深度实战GRPO等强化学习算法，提升大模型训练和应用技术能力。

硬核：行业全流程落地项目

通过政务智能助理Agent、公文写作长文本生成等工业级项目，从开发到微调实战，掌握RAG增强检索与Agentic开发范式，学习模型安全沙箱机制与复杂业务系统部署；培养解决业务痛点的能力。

提炼核心精华，理论+实战，降低门槛递进式学习，高效掌握大模型训练技能

分布式训练与底层算子

PagedAttention机制

大模型的Tokenizer

GPTQ模型量化技术

Transformer原理（注意力机制等）

神经网络基础

深度学习基础

强化学习基础

实战中学习pytorch

Deepseek-R1逻辑推理模型原理

MoE、MLA等DeepSeek核心特性

位置编码与长文本基础旋转位置编码RoPE

大模型输出的解码过程

手撸MLA实现代码

千亿参数万亿Token预训练代码详解

手撸模型并行TP、PP代码

手撸attention实现代码

手撸Transformer实现代码

手撸RoPE旋转位置编码代码

大模型位置编码实战

手撸BPE算法的实现代码

手撸MOE实现代码

词向量理论与实战

解锁
成就

掌握大模型核心+前沿技术的基础与理论，为大模型开发与训练打下坚实基础。

大模型预训练原理与分布式训练框架DeepSpeed Megatron

大模型有监督微调技巧

高效参数微调（LoRa）原理

大模型训练数据构造方法

大模型强化微调技巧与训练框架-TRL

大模型INT8、INT4量化与蒸馏原理

大模型有监督微调框架llama-factory与微调实战

基于蒸馏DeepSeek-R1 COT数据微调模型实战（数据构造、模型训练、模型评估）

高效参数微调（LoRa）训练框架PEFT与微调实战

从0到1大模型预训练海量（千亿级别Token）数据据处理、配比与训练

GRPO算法强化微调模型实战

解锁
成就

掌握企业需求核心训练和算法，结合实战，具备大模型算法训练（微调）核心技术能力。

RAG增强检索

Agent智能体

Agentic开发范式

向量数据库

文档检索、排序

大模型量化与部署

大模型推理部署技术(VLLM)

文档向量化

DeepSeek工具链

DeepSeek+提示工程搭建功能强大的翻译机

大模型文本生成实战

大模型文档理解实战

大模型能力蒸馏实战

几行代码实现DeepSeek蒸馏模型私有化部署实战

有限资源下模型部署（模型量化IN8,INT4）实战

解锁
成就

融入长文本生成、长文理解、RAG、Agent等技能，快速掌握大模型核心开发、部署的技巧与应用。

生成式场景：长文本公文写作方案设计、数据构造与模型训练与调优

阅读理解式场景：政务客服问答场景RAG文本理解方案设计与模型训练、调优

解锁
成就

企业级两大核心场景，从0到1全流程实战，掌握大模型落地应用的方法论，提升大模型综合实战能力。

两大实用价值极高的企业级落地项目
从开发到微调全流程实战，迅速拔高实战能力

项目介绍：

本项目结合大语言模型（LLM）与企业级Agent架构，专为政务场景优化设计，同时适配类似需求。系统突破性地支持十万字级长文档解析，精准提取政策法规等复杂文本的核心信息，通过语义分析自动生成结构化摘要，构建知识库，解决传统政务系统长文本处理中的信息遗漏问题。集成多功能Function Call引擎，实现多场景智能调度。

技能收获：

· 项目框架搭建
· Prompts设计
· 文档检索、排序

· Agent助理构造
· 知识库构造与搭建
· 业务问题分析与分解

· 模型评估方法
· Bad case分析与调优
· 模型量化与分布式推理原理

· 大语言模型Function Call能力构建
· 训练数据构造方法
· 长文档分析、切分与理解

项目介绍：

针对各种办公场景中的高频公文场景开发的智能化写作系统，深度融合公文规范与生成式AI技术，实现万字级长公文的结构化自动创作。突破传统写作工具局限，通过多级目录智能编排技术解决长文本逻辑紊乱、上下文矛盾、关联性不强的问题。

技能收获：

· 项目框架搭建与Prompts设计
· 长文本写作方案设计
· 参考写作方案设计

· 长文本数据构造
· 文本生成模型训练方法
· 多级目录训练数据构建

· 生成式场景效果评估方法
· 模型量化与分布式推理原理
· 一键部署脚本与资源调度运维

1. 输入标题 2. 内容概要与参考文献 3. 大纲生成与修改 4. 长文档生成

课程大纲

第1章课程导学与环境介绍

本章让学员对课程有初步认知，包括课程的具体安排、学习建议以及所需的硬件资源，无论是个人学习还是公司开发场景皆有涉及。同时，详细阐述在 AI 时代学习大模型和 DeepSeek 理论知识的重要性，针对中国开发者强调重点学习 DeepSeek 的意义。还会讲解大模型常用网站和开源模型下载方法，以及 Linux Anaconda 等开发环境的搭建，最后提供一个基本的 AI 技术图谱作为学习指引。

第2章【小试牛刀】DeepSeek认知与体验

本课帮助学员建立对 DeepSeek 的全面认识，从理论到实践展开。理论部分将对比分析 DeepSeek 与其他大模型的架构特点和技术演进，重点解析其创新设计；实战部分基于DeepSeek结合提示工程搭建功能强大的翻译机、几行代码实现DeepSeek蒸馏模型私有化部署实战。让大家既能直观理解 Deep Seek 的技术优势，又能掌握基础应用技能，为后续进阶学习做好充分准备。

第3章【大模型理论】DeepSeek的诞生之路

本章循序渐进地阐释DeepSeek的技术渊源与发展脉络。从NLP基础理论出发，系统梳理从传统方法到现代模型的演进过程，帮助学习者建立完整的认知框架。内容涵盖自然语言处理核心概念、词向量技术原理与实践、预训练模型发展等关键知识点，通过理论解析与实战演练相结合的方式，让学习者深入理解DeepSeek的技术背景和理论基础，构建了完整的知识体系。

第4章【特征编码器Transformer】深入理解大模型的输入输出

聚焦于大模型输入输出的核心机制。先讲解大模型的文本切分和 Token 概念，深入探讨 Tokenizer 的作用和影响，包括 BPE 算法的训练和编码过程，并通过手撸代码实战加深理解。接着介绍大模型输入中的位置编码原理和实战，以及输出流程和解码过程，最后通过实战寻找模型最佳的解码参数。

第5章【特征编码器Transformer】深入Transfomer中的注意力机制

围绕 Transformer 中的注意力机制展开。先进行基础知识准备，然后深入剖析注意力机制的原理，通过手撸 attention 实现代码进行实践。介绍大模型中的残差结构与 FFN，探讨多种注意力机制以平衡效率与性能，并手搓多种注意力机制的实现代码，最后通过手撸 Transformer 实现代码深入理解整个架构。

查看完整目录

每个慕课网课程，都是一个专业的技术社区

个性化增值服务，学习有保障更高效

答疑专区+技术社区

连百度谷歌都搜不到的问题，在这里讲
师都将耐心详细解答，更有小伙伴一起
交流互动，共同进步。

课程示例代码

课程将提供与教学配套的示例源码，
帮助您同步实践。

独家“动态”教辅材料

丰富的专属教辅资料上传更新，通过课程
教案、原理图解、技术文档、演示案例等
各种教材，保障你的学习效果。

实用电子文档

部分简单内容以图文形式呈现，与视频
相配合，既保障学习效果，又提高了学
习效率。