weixin_44457930-CSDN博客

原创大模型的开发应用（二十）：AIGC原理

上篇文章，我们介绍了AIGC的先修知识，介绍了 ViT、CLIP、VAE 和 Diffusion，这篇文章是在这些个模型的基础上，介绍图像生成模型（包括文生图和图生图），本文将重点介绍 Stable Diffusion 的原理。需求场景推荐采样器步数关键特性通用高质量20-30收敛快、细节适中，综合最优极致写实细节30-40不收敛、细节丰富，适合人像/皮肤纹理效率优先（草图）5-15极速生成，适合创意探索多样性创意Euler a20-30随机性强，适合角色设计/艺术创作。

2025-07-30 17:13:30 1048 5

原创大模型的开发应用（十九）：AIGC基础

信息的载体，除了文字，还有图像、视频、声音等，另外，人类还可以根据触觉捕捉到信息，动植物也能通过温度、湿度、磁场来捕捉外界的环境变化，这些都是不同的信息模态，而所谓多模态模型，指的是能处理多种信息载体的模型。当前，多模态模型的使用已经成为了 AI 开发工程师的一项重要能力，但限于技术条件，目前只有文字、图像、视频、声音等模态的信息有比较成熟的模型，我们需要掌握文生图/视频、图/视频生文（视觉问答）、图生图等模型的原理。

2025-07-28 23:35:23 781

原创大模型的开发应用（十八）：大模型量化：GPTQ 与 AWQ

前面在介绍QLoRA的时候，我们介绍了 NF4 和 LLM.int8() 量化，这两种量化方式是比较常用的大模型在线量化方式，对于离线量化，目前比较常用的是 GPTQ 和 AWQ。当然，我个人做过对比实现，发现 GPTQ 和 AWQ 效果都不好容易导致模型智商下降，但面试的时候又经常被问到，因此在此对这两种量化方式做个详细的介绍。本文涉及到了比较多的数学推导，读者最好知道多元函数的泰勒泰勒展开、运筹优化的标准数学表达式和 L2 范数的含义，其他像拉格朗日乘数、Cholesky 分解。海森矩阵（Hessian

2025-07-11 00:13:26 1198

原创大模型的开发应用（十七）：多智能体项目

本项目还是比较复杂的，主要是 supervisor 和 create_agent 这两个函数比较复杂，需要比较长的时间才能把逻辑理顺，但只要把这两个函数搞明白了，基本上这个项目就梳理清楚了。

2025-07-08 16:10:11 632

原创大模型的开发应用（十六）：Agent 与 LangGraph基础

Agent 在早几年被翻译成代理，但这与它的实际功能并不贴切，因此这两年称呼其为 “智能体” 比较多，它是指能自主感知环境、做出决策并执行动作以达成目标的实体，通过利用大语言模型的推理能力，能够自主对复杂的人类任务进行目标规划、任务拆解、工具调用、过程迭代，并在没有人类干预的情况下完成任务。Agent 的核心在于其自主性：无需人类全程操控，能主动解决问题。LangGraph 是一个由LangChain团队开发的 Python 框架，专门用于构建复杂、有状态的多步骤工作流。

2025-06-30 20:29:23 733

原创大模型的开发应用（十五）：基于RAG的法律助手项目（下）：商用模型接入、RAG系统评估与前端界面

当然，两部分的评估都需要做数据，而截止到2025年6月，由于AI大模型还算比较新的领域，甲方公司一般也缺乏专业人员，他们也不知道怎么评估，更不知道怎么做数据，也没精力做，验收的时候主要还是看感觉，就是问几个比较常见的问题，然后看看回答是否符合他们的预期。上篇文章，我们使用 Qwen1.5-4B-Chat 询问相同的问题，得到的回答是错误的，当时计算的结果是 36 个月，这里我们使用智谱的商用模型，得到了正确的回答，并且回答中给出了具体的条文。的情况下得到的，我们计算得到的召回率和这两个参数高度相关。

2025-06-28 11:09:22 487

原创大模型的开发应用（十四）：基于RAG的法律助手项目（中）：改进优化

文本嵌入模型分不清主动和被动的区别；检索出的结果相关，但答非所问；与问题不相关的节点，相似度（相关度得分）却很高；模型的回复不完整，没回复完就停了，也有可能是回复完了，但打印的不完整。本文就来解决这些问题。在系统中，重排序模型的作用是优化和提升检索结果的序质量，将最相关、最有助于生成高质量回复的文档（或节点）排在最前面。检索获得文档（或节点）列表后，重排序模型会仔细评估每个候选文档（节点）与用户查询的实际关联程度，并根据相关性分数对文档进行重新排序。

2025-06-26 17:27:35 875

原创大模型的开发应用（十三）：基于RAG的法律助手项目（上）：总体流程简易实现

本项目是制作一款专注于劳动纠纷的法律助手，使用RAG技术实现。

2025-06-24 15:23:17 902

原创大模型的开发应用（十二）：RAG 与 LlamaIndex基础

LlamaIndex 是连接私有数据与大型语言模型的桥梁，核心目标是弥合私有数据与大型语言模型（如 GPT、Claude 或本地模型）之间的鸿沟，它能够轻松构建基于检索增强生成 (RAG)的强大应用。目前 RAG 存储向量数据库，用的最多的就是 ChromaDB，所以我们这里不介绍其他向量数据库了。Chroma 是一款开源的向量数据库，专为高效存储和检索高维向量数据设计。其核心能力在于语义相似性搜索，支持文本、图像等嵌入向量的快速匹配，广泛应用于大模型上下文增强（RAG）、推荐系统、多模态检索等场景。

2025-06-21 20:46:20 969

原创大模型的开发应用（十一）：对话风格微调项目（下）：微调与部署

上篇文章，我们完成了数据集的制作，得到了一个拥有近两万条样本的数据集，随后进行了模型选型，筛选出了 Qwen2.5-1.5B-Instruct 作为我们的基座模型，这篇文章，我们来完成剩下的工作，包括模型的微调与部署。

2025-06-15 15:42:22 827

原创大模型的开发应用（十）：对话风格微调项目（上）：数据工程与模型选型

本项目是制作一款聊天机器人，机器人回复的消息，一会儿温柔（关心），一会儿毒舌（嘲讽），通过变换聊天风格，从而提供情绪价值。我: "今天好累啊" 机器人: "辛苦啦~ 要给自己泡杯热茶放松一下吗？🌸" 我: "考试没考好..." 机器人: "没关系的呀~ 下次一定会更好！需要我陪你聊聊吗？😊"我: "又胖了5斤！" 机器人: "好家伙！你这是要把体重秤压成分子料理？🏋️" 我: "游戏又输了" 机器人: "菜就多练练！需要给你推荐《从零开始的电竞之路》吗？🎮"

2025-06-13 23:46:45 807

原创大模型的开发应用（九）：模型的客观评估与OpenCompass

Ceval 数据集是一个专门用于评估大语言模型在中文知识和推理能力上的基准测试数据集。Ceval 数据集是一个精心构建的、覆盖多学科的中文单项选择题基准测试集。它的核心价值在于为评估和比较大语言模型在中文语境下的知识广度、深度和推理能力提供了一个标准化、全面且权威的标尺，对推动中文大模型的发展起到了至关重要的作用。当看到某个中文模型宣称在“Ceval 上达到 SOTA（State-of-the-Art）”时，通常意味着它在中文知识和推理的综合测试中表现优异。

2025-06-11 16:15:07 1193

原创大模型的开发应用（七）：大模型的分布式训练

现代大模型（如GPT-3、LLaMA等）的参数量达千亿级别，单卡GPU无法存储完整模型，在训练时，除了模型参数占用显存，梯度和优化器状态同样占用显存，因此有必要使用分布式的方式进行模型的训练和推理。此外，训练大模型需要海量计算（如GPT-3需数万GPU小时），分布式训练可加速训练过程。DeepSpeed之ZeRO系列：将显存优化进行到底特征张量并行 (Tensor Parallelism)ZeRO分片 (ZeRO Sharding)主要目标加速计算(并行化大矩阵运算)节省内存。

2025-06-05 12:20:33 747

原创大模型的开发应用（六）：使用 Xtuner QLoRA 微调模型

Xtuner 是大模型微调的另一款重要框架，截止2025年4月，最常用的就两款，LLaMA Factory 与 Xtuner，本篇文章主要介绍 Xtuner 的基本使用。XTuner 是由上海人工智能实验室（InternLM 团队）开发的高效、灵活且功能全面的大语言模型（LLM）和多模态模型（VLM）微调工具库，旨在帮助开发者在有限的硬件资源下轻松完成大模型的微调任务。XTuner 是一个适合需要高效微调大模型的开发者的工具库，尤其适合希望在有限硬件条件下快速迭代模型的团队或个人。文档# 单轮对话},

2025-06-02 14:22:55 966 1

原创大模型的开发应用（四）：深度学习模型量化与QLoRA微调

根据量化映射是否为线性映射，可以分为线性量化和非线性量化，其中线性量化可以分为对称量化和非对称量化，后文讲的NF4量化则是非线性量化的一种。根据量化阶段分，则可以分为训练后量化和量化感知训练，前者又可以分为训练后动态量化和训练后静态量化。根据量化粒度分，可以分为全网络统一量化、逐层量化、逐通道量化和逐块量化。我们主要关注大模型的量化，关于常规量化方式，只需要知道概念，不需要懂实操。

2025-05-27 20:03:01 990 1

原创大模型的开发应用（三）：基于LLaMAFactory的LoRA微调

当前（2025.5），生成模型最常用的微调手段就是LoRA微调，它是局部微调的一种，而全量微调限于数据和算力等因素，很少去使用。LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。模型种类：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等几乎世面上能见到的所有开源模型。

2025-05-20 15:38:25 1411 5

原创大模型的开发应用（二）：大语言模型的工业部署

上篇文章讲了Llama3模型的简单部署，并且我们介绍了transformers调用大模型的通用格式，并且我们使用 streamlit 做了一个简易交互界面。但真实生产环境中，推理框架很少用transformers，这是因为该库的设计初衷是广泛兼容性和易用性，而不是专门针对特定硬件或大规模模型的性能优化。生产环境中主要用 vllm 和 LMDploy，另外，对于个人用户，ollama的使用也比较多，所以本文主要介绍这三种推理框架的使用。

2025-05-17 17:32:50 1262

原创大模型的开发应用（一）：Llama3模型的简单部署

本系列文章是基于Meta-Llama-3-8B-Instruct模型的开发，包含模型的部署、模型微调、RAG等相关的应用。Meta-Llama-3-8B-Instruct 模型名称中的 “Instruct” 表示该模型是专门针对指令遵循（Instruction Following）任务进行优化的版本。1. “Instruct” 的核心含义任务定位：这类模型经过微调（Fine-tuning），能够更精准地理解用户指令并生成符合要求的回复，例如回答问题、执行任务、遵循多步骤指示等。

2025-05-09 16:55:59 1222

原创语义分割快速入门

在CV领域，图像识别、目标检测用的比语义分割多很多，我在过去的几年里，几乎没有用过语义分割做过项目。但语义分割作为CV中极其重要的一环，有必要掌握。深度学习的某一个领域要想快速入门，要做的不是去看有哪些模型，而是要先把模型当成一个黑盒，然后搞明白这个黑盒的输入输出是什么，评价指标有哪些，损失函数有哪些，知道这些后，再去看看有哪些模型。

2025-04-10 14:19:40 747

原创 Pascal VOC 2012 数据集格式与文件结构

任务类型：支持目标检测、语义分割、动作识别、图像分类等。类别数量：包含 20 个物体类别（如aeroplanebicyclecar等）以及一个背景类别。图像数量训练集 + 验证集：共 11,530 张图像。测试集：未公开标注，需提交结果到官方服务器进行评估。Pascal VOC 2012 数据集的文件结构清晰，格式规范，非常适合初学者和研究者使用。它的多任务支持（目标检测、语义分割、实例分割等）使其成为计算机视觉领域的基准数据集之一。

2025-04-09 21:02:44 1403

原创算力平台驱动云的使用

这里打开的是入门教程，一个notebook文件，这里说明了模型、代码、数据集分别在什么路径下。如果不训练，仅仅上传数据和模型，那么也是要收费的，因为存储数据要占用驱动云的空间。因为我们的数据规模小，所以点击“网页上传文件”有了SSH命令，就能通过IDE进行远程开发了。在项目页面中，点击右上角的“进入开发环境”填写密码，然后点击“生成SSH Key”拖拽上去后，在页面的右边可以看到文件。点击确定后，就可以看到数据的内容。启动之后，就能看到我们的项目界面。当然，也可以保存环境后再销毁。

2025-02-13 17:31:56 1243

原创 Pycharm连接远程解释器

深度学习项目，经常需要租用云算力，这里我们以DeepLn云计算平台为例，介绍以下pycharm如何连接远程服务器。

2025-01-04 01:33:07 1764

原创序列模型的使用示例

假如你想要建立一个序列模型，它的输入语句是这样的： “Harry Potter and Herminoe Granger invented a new spell.”，(句中的人名都是出自于 J.K.Rowling 笔下的系列小说 Harry Potter)。假如你想要建立一个能够自动识别句中人名的序列模型，那么这就是一个命名实体识别问题。命名实体识别系统可以用来查找不同类型的文本中的人名、公司名、时间、地点、国家名和货币名等等。将输入的句子定义为x，上述的输入语句中共有9个单词，可以对输入进行编号，用。

2024-12-16 15:01:47 1113 1

原创 AMPL下载安装于基本使用（二）

优化问题大部分情况下，参数有很多，约束也有很多，但大部分参数和约束都是同类型的，在数学表达式中往往都以下标来区分，例如《运筹学》（罗纳德 L. 拉丁）中的Pi Hybrids问题的优化模型的数学表示：注，这是来自书中的截图，这里的demands错误，d的下标应该为h,r。另一方面，为了让程序具有通用性，都是模型与数据分开的，即放在两个文件中，这样改数据的时候可以不用动模型。

2024-06-08 11:22:27 812