weixin_44212848的博客

1. 正向传播在 self.step(batch) 中的模型前向计算，2.反向传播在 trainer.fit() 内部。

梯度检查点是深度学习中的显存优化技术，1. 正向传播时，模型不会保存所有注意力图和隐藏层输出。2. 反向传播时，PyTorch会利用检查点重新计算这些值，从而减少显存占用。

这个项目名为 “Break-A-Scene: Extracting Multiple Concepts from a Single Image”，发表于 SIGGRAPH Asia 2023，旨在从单张图像中提取多个概念，并使用自然语言引导在各种上下文中重新合成这些概念或它们的组合。一句话解释：Textual Inversion（TI） + DreamBooth（DB） + Loss（下图的 3 和 4）

那如果之前未设置 adapter_name 时训练获得的权重，就是想用这个权重推理怎么办？因此可以写出将 lora 权重对应地更新到原模型权重上的代码，如下所示。本文作者的 lora 的 key 如下，从这里可以知道去掉。通过以下代码获取 lora 的 key。就能够对应会我们原模型的参数。此时推理即可获得正常结果。

读取并打印 lora_A 的输出特征数（即 rank）或者 lora_B 的输入特征数即可。打印出想要的权重后，可以清楚地看出 lora 加在哪些层上。

类是一个上下文管理器（Context Manager），这是 Python 中用于资源管理的一种设计模式，通常与。这种模式允许在特定代码块中临时修改 LoRA 的行为，而不影响其他代码，是一种优雅的资源管理方式。推理与训练行为差异化，这允许在训练和推理阶段有不同的 LoRA 使用策略。Python 上下文管理器中的。

对比维度分类问题回归问题扩散模型任务目标预测离散类别标签预测连续数值学习数据分布并生成新样本输入/输出输入：特征向量输出：类别概率输入：特征向量输出：连续值输入：含噪数据xt(x_t)xt​+ 时间步 (t)输出：预测噪声ϵθϵθ​损失函数交叉熵损失（CrossEntropyLoss）均方误差损失（MSELoss）均方误差损失（MSELoss，预测噪声）或变分下界损失模型结构逻辑回归、CNN、Transformer等线性回归、决策树、SVM回归等。

本系列将以 Flux-dev 为例，详细拆解各个部分的细节和重点。Flux 整体框架图如下，来源于: 《Stable Diffusion 3「精神续作」FLUX.1 源码深度前瞻解读》

在深度学习领域，分布式训练是一个重要的研究方向，它允许我们利用多个GPU来加速模型的训练过程。然而，随着模型规模的增大，单个GPU的内存限制成为了一个瓶颈。为了解决这个问题，DeepSpeed 提供了一种名为 Zero Redundancy Optimizer（简称 ZeRO）的技术，它通过不同的阶段（stage）来优化内存使用，从而使得训练更大的模型成为可能。

Scheduler 在扩散模型中扮演着重要的角色，它通过控制噪声的添加和去除，影响着模型的训练和生成效果。不同的 Scheduler 有不同的特点和适用场景，研究者可以根据具体任务选择合适的 Scheduler。

EMA模型：让模型更稳定、更泛化EMA（Exponential Moving Average，指数移动平均）模型在深度学习中常用于存储模型可学习参数的局部平均值。可以把它想象成一个“影子模型”，这个影子模型的参数会随着原模型的训练不断更新，但更新的方式不是直接复制，而是以指数衰减的方式逐渐向原模型的参数靠拢。EMA模型是一种简单而有效的技术，可以提高深度学习模型的性能。通过维护模型参数的指数移动平均，EMA模型可以帮助模型找到更好的局部最小值，提高模型的稳定性和泛化能力。

下图为《Scaling Rectified Flow Transformers for High-Resolution Image Synthesis》 (ICML 2024 )中的 SD3 架构图。

LN 是对单个数据的指定维度进行 Normalization （归一化）处理，且指定的维度至少得包括最后一个维度。

这里以中最基础的以图生图（Image Variations）为例：输入处理：对 img prompt 和 txt prompt 分别先得到 embedding 后再送入 SD 的 pipeline；过 Unet：与一般输入 txt prompt 类似，通过 Unet 的各个模块；Unet 中的 CA：对于 img prompt 部分需要拆出来，单独过针对性的 k （to_k_ip）和 v（to_v_ip）。

本文通过详细的结构图和相关代码片段介绍了 IP-Adapter 训练代码的核心部分，下篇则介绍其推理代码。

本文详解了IP-Adapter 训练源码中的输入部分，下篇则详解核心部分，针对图像输入的 Cross-Attention。↩︎。

IP-Adapter 的结构和 SD 的差别不是特别大，可以参考【扩散模型（二）】中的结构图进行快速理解，本文则将详细介绍其 IP-Adapter 的训练过程。IP-Adapter 的训练目标和 SD 的原始训练目标一致，但由于仅仅训练投影网络和适配模块（Image prompt 输入的 cross attention），可训练参数量非常轻量化（仅 22M）。↩︎↩︎↩︎↩︎↩︎↩︎↩︎需要注意的是，仅使用图像提示也能很好地指导最终生成，因此也可以在没有文本提示的情况下训练模型。

重建分支负责从噪声中逐步重建出清晰的图像。条件分支则引入额外的信息或条件，指导图像的生成过程，使得生成结果符合特定的要求。这种结构使得 Stable Diffusion 模型既能够生成高质量的图像，又能够根据特定的条件生成符合要求的图像。

Zero-shot learning是一种极端的少样本学习（）方法，它使得模型能够在完全没有见过目标类样本的情况下进行预测。模型通过在训练阶段学习到的特征和类描述之间的关系来实现这一点。

UNet 是一种卷积神经网络架构，最初设计用于生物医学图像分割。其结构类似于一个对称的 U 字形，由编码器（下采样）和解码器（上采样）组成。编码器逐步提取图像特征并缩小空间维度，解码器则将这些特征还原到原始的空间维度，同时逐步增加分辨率。对称结构：编码器和解码器对称分布。跳跃连接：直接将编码器的中间层输出传递到解码器的对应层，保留了高分辨率特征。多尺度特征提取：在不同尺度上提取特征，提升了网络对细节的捕捉能力。VAE 变分自编码器是一种生成模型，通过学习输入数据的潜在表示来生成新数据。编码器。

本文介绍了如何在多输入的情况下，实现 tritonclient 的 .infer。

通过正确指定输入的形状和动态范围，可以使用trtexec将多输入的 ONNX 模型成功转换为 TensorRT 引擎。在遇到问题时，检查形状格式和模型的批处理维度是解决问题的关键。

将函数或nn.Module脚本化，会检查源代码，并使用 TorchScript 编译器将其编译为 TorchScript 代码，并返回一个或。TorchScript 是 Python 语言的一个子集，因此并不是所有的 Python 功能都能在其中使用，但我们提供了足够的功能来对张量进行计算和执行控制相关操作。完整指南请参阅 TorchScript 语言参考。

本文将详细拆解 IconShop 的模型结构和对应开源代码。上篇有提到过模型架构如下所示，本篇则从代码的逻辑进行解释，主要是中的sample以及forward两个函数。

（1）通过 onnx 的可以找到转化时定义的模型输入，示例代码如下# 加载 ONNX 模型# 打印模型输入定义列表print("ONNX 模型的输入定义:")input。

这里的范围 0 到 49408 的 token 输入通常来自于 CLIP 模型的文本 tokenization 过程。CLIP 模型中的文本输入需要经过 tokenization，以便将每个词转换为一个唯一的 token ID。在对 CLIP 模型的文本 encoder 模块从 .pt 到 .onnx 的转化过程中，遇到报错。遇到的问题大概率是由于ONNX Runtime不支持模型中的ArgMax操作的。另外，也可以尝试在模型外部实现ArgMax操作，并将结果传递给网络。

设置为 77 表示模型的输入长度限制为 77 个 token。77 个 token 不等同于 77 个单词，因为一个单词可能会被拆分成多个 token。实际的单词数量会少于 77 个，具体取决于句子的复杂度和分词方式。通常情况下，77 个 token 可以容纳大约 70 个左右的单词，这取决于句子的内容和复杂度。为了在实际应用中得到精确的单词数量与 token 数量的关系，可以对输入文本进行 tokenization 并观察其输出。通过这种方式，可以更好地理解模型的输入限制。

那么恭喜你的 .onnx 大概率是可以转化到 .plan 的！当然这里也有些坑，比如明明是显存不够错误，但日志里完全没提 oom，而是说节点问题。。。

复现论文时，在 ubuntu 中使用 conda install 如下 bash 命令行就会报错

复现论文 GTM-Transformer 过程中的数据集直接用 vscode 打开的效果没法看import torch # Load category and color encodingscat_dict = torch.load('C:/自己替换/category_labels.pt')for k, v in cat_dict.items(): # k 参数名 v 对应参数值 print(k, v)运行结果图：参考博客：https://blog.csdn..