Classifier-Free Diffusion Guidance【论文精读加代码实战】

已于 2023-04-16 10:01:46 修改
阅读量5.2k 收藏 16
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 扩散模型CV与NLP从入门到项目实战 文章标签： 深度学习 Classifier-Free 扩散模型 DDPM diffusion model
于 2023-04-10 15:21:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45934285/article/details/130046235
本文深入解析Classifier-Free Diffusion Guidance，对比Classifier-Guidance，探讨其优势。通过代码分析，展示了Classifier-Free如何在无分类器的情况下进行训练和采样，以及在文本条件图像生成中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Classifier-Free Diffusion Guidance【论文精读加代码实战】

0、前言

论文地址：Classifier-Free Diffusion Guidance
在这篇博文中将会详细介绍Classifier-Free Diffusion Guidance的原理，公式推导，应用场景和代码分析。
然后是分析classifier guided diffusion和Classifier-Free Diffusion Guidance的区别和联系，以及各自的优缺点。
其中代码来自：openai的GLIDE: a diffusion-based text-conditional image synthesis model其论文地址：GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models代码地址：https://github.com/openai/glide-text2im

了解本专栏 订阅专栏 解锁全文
无分类器指导的Classifier-free Diffusion Models技术
沉迷单车的追风少年
08-12 4475
分类器的引入大大提升了扩散模型的生成质量(FID和IS指标)，但是分类器指导可以看上是一种梯度对抗引导，这就会引入生成对抗网络中存在的一些缺点。作者提出了一种混合了条件扩散模型的分数估计和联合训练的无条件扩散模型，样本的无条件可能性，同时增加了条件可能性，在生成质量上得到进一步的提升。......
【SDG代码精读】More Control for Free! Image Synthesis with Semantic Diffusion Guidance【SDG】
zik的博客
04-08 1396
这篇博客主要是分析SDG的代码，只是在其开源的代码上面加了详细且丰富的注释，帮助阅读和理解。
Classifier Guidance和Classifier-free Guidance的介绍和理解
vivi_cin的博客
11-28 1117
参考： https://zhuanlan.zhihu.com/p/647931149classifier guidance通过额外的分类器对diffusion过程中的score估计进行条件引导。classifier guidance diffusion的几个问题谷歌在Classifier-free diffusion guidance论文中提出Classifier-Free Guidance方案用以规避上述问题。通过调节引导的权重来控制生成图像的真实性和多样性的平衡。classifier-free guid
Classifier Guided Diffusion 详解
最新发布
sjtu_wyy的博客
06-13 1167
本文详细解析了Classifier Guided Diffusion方法，该方法通过分类器梯度引导扩散模型生成过程。传统扩散模型缺乏定向控制能力，而该方法利用预训练分类器的梯度信息修正反向过程，使生成样本既符合数据分布又满足目标类别条件。数学上，该方法通过贝叶斯分解将条件生成转化为对无条件得分函数和分类器梯度的加权组合，并通过引导强度系数γ平衡控制力度与多样性。实现时需要训练噪声分类器，并在采样时修正噪声预测。
【生成模型之七】Classifier-free diffusion guidance
Jeremy_lf的博客
12-23 1046
一般来说，分类器可以比生成模型更小更快，因此分类器引导的采样可能比无分类器引导更快，因为后者需要运行扩散模型的两个正向过程，一个用于条件得分，另一个用于无条件得分。我们证明，在没有这样的分类器的情况下，引导确实可以通过纯生成模型来执行：在我们所谓的无分类器引导中，我们联合训练一个条件和一个无条件的扩散模型，并将得到的条件和无条件的分数估计结合起来，以实现样本质量和多样性之间的权衡，类似于使用分类器引导获得的结果。无分类器引导是一种修改εθ（zλ，c）的替代方法，其效果与分类器引导相同，但没有分类器。
10、CLASSIFIER-FREE DIFFUSION GUIDANCE
小白的博客
03-20 4220
CLASSIFIER-FREE DIFFUSION GUIDANCE
【扩散模型】7、Classifier-Free Diffusion Guidance | 无需显式分类器指导也能获得很好的生成效果
呆呆的猫的博客
12-20 9561
本文主要介绍扩散模型 classifier-free guidance
[l论文解析]Classifier-Free Diffusion Guidance
Joselynzhao
12-12 5217
无分类器指导可以被认为是没有分类器的分类器指导，我们的无分类器指导的有效性证实了**纯生成扩散模型能够最大化基于分类器的样本质量度量，同时完全避免分类器梯度。我们的无分类器指导方法最实用的优点是它的极端简单:它只需要在训练期间更改一行代码—随机去掉条件—以及在抽样期间—混合条件和无条件的分数估计。相比之下，分类器指导使训练管道复杂化，因为它需要训练额外的分类器。在已部署的模型中可能会有负面影响，因为在某些数据部分在其他数据上下文中没有得到充分表示的应用程序中，样本多样性对于维护应用程序非常重要。
深度学习（生成式模型）——Classifier Free Guidance Diffusion
菜到怀疑人生的博客
11-09 3842
在上一节中，我们总结了，其有两个弊端，一是需要额外训练一个分类头，引入了额外的训练开销。二是要噪声图像通常难以分类，分类头通常难以学习，影响生成图像的质量。Classifier Free Guidance Diffusion解决了上述两个弊端，不需要引入额外的分类头即可控制图像的生成。本节所有符号含义与前文一致，请读者阅读完前三篇博文后在查阅此文。本文仅总结backbone为DDIM情况下的Classifier Free Guidance Diffusion。
【SDG精读与代码复现】More Control for Free Image Synthesis with Semantic Diffusion Guidance【SDG】
zik的博客
03-28 2118
文章核心思想：多模态的引导扩散模型进行采样。直接用训练好的非条件的扩散模型，无需重复训练。文字guided是用一个微调的CLIP模型，数据集无需文本注释。数据集是FFHQ和LSUN在这篇文章介绍了。本文主要分为三个模块：第一个是论文介绍模块，以更通俗易懂的方式帮助大家理解论文。第二个是复现模块，代码的复现引导。第三个是复现过程的代码解决方案模块，复现过程遇到有bug的可以看看。
AIGC-Visual Anagrams: Generating Multi-View Optical Illusions with Diffusion Models-论文＋代码精读
hflexxx的博客！喜欢的话点个关注！
04-26 1186
《Visual Anagrams: Generating Multi-View Optical Illusions with Diffusion Models》CVPR2023多视图错觉论文详细解读+代码分析！小白可以直接看！
图像生成中的“Classifer guidance、Classifer-free guidance”是什么？
03-20
图像生成中的“Classifer guidance、Classifer-free guidance”是什么？
Classifier-Free Guidance
woxiangxinwang的博客
10-12 353
扩散模型的基础理解
AIGC笔记--基于Classifier-Free Diffusion Guidance的Conditional Diffusion
牵一只蜗牛去散步
05-17 446
【代码】AIGC笔记--基于Classifier-Free Diffusion Guidance的Conditional Diffusion。
【扩散模型】引导扩散方法Classifier-free Guidance
iloveyouqri的博客
08-15 1381
现在我们来介绍引导扩散的另一个方法Classifier-free Guidance，该方法也广泛运用于后续的各种扩散模型。论文：CLASSIFIER-FREE DIFFUSION GUIDANCEclassifier guidance到classifier-free guidance之间扩散模型也有了更多的研究，描述的符号也发生了一些改变，采样时间也发生了变化。文章使用了不同之前提到的文章的公式符号，并且将采样时间使用λlogαλ2​σλ2​进行代替。
Classifier Guidance 与 Classifier-Free Guidance
weixin_44966641的博客
12-13 9006
DDPM 终于把 diffusion 模型做 work 了，但无条件的生成在现实中应用场景不多，我们终归还是要可控的图像生成。本文简要介绍两篇关于 diffusion 模型可控生成的工作。其中 Classifier-Free Guidance 的方法还是现在多数条件生成 diffusion 模型的主流思路。
【diffusers极速入门（七）】Classifier-Free Guidance （CFG）直观理解以及对应代码
weixin_44212848的博客
08-12 4141
由于 Classifier-Free Guidance (CFG) 相关的理论解释博客已经很多了，本文不涉及理论推导，而侧重直观理解和对应的 diffusers 代码。
diffusion model（四）文生图diffusion model（classifier-free guided）
weixin_40779727的博客
07-11 5361
在classifier-guided这篇博客我们提到对于一般的DM（如DDPM， DDIM）的采样过程是直接从一个噪声分布，通过不断采样来生成图片。但这个方法生成的图片类别是随机的，classifier-guided通过额外训练一个分类器来不断矫正每一个时间步的生成图片，最终实现特定类别图片的生成。 Classifier-free的核心思路是：我们无需训练额外的分类器，直接训练带类别信息的噪声预测模型来实现特定类别图片的生成.
classifier-free diffusion guidance
09-02
classifier-free diffusion guidance（无分类器扩散引导）是一种新兴的技术，用于在无需提前训练分类器的情况下进行目标导航。 传统的目标导航技术通常需要使用先验知识和已经训练好的分类器来辨别和识别目标。然而，这些方法存在许多限制和缺点，如对精确的先验知识的需求以及对大量标记数据的依赖。 相比之下，classifier-free diffusion guidance 可以在目标未知的情况下进行导航，避免了先验知识和训练好的分类器的依赖。它的主要思想是利用传感器和环境反馈信息，通过推测和逐步调整来实现导航。 在这种方法中，机器人通过感知环境中的信息，例如物体的形状、颜色、纹理等特征，获取关于目标位置的信息。然后，它将这些信息与先验的环境模型进行比较，并尝试找到与目标最相似的区域。 为了进一步提高导航的准确性，机器人还可以利用扩散算法来调整自己的位置和方向。通过比较当前位置的特征与目标位置的特征，机器人可以根据这些差异进行调整，逐渐接近目标。 需要注意的是，classifier-free diffusion guidance还处于研究阶段，目前还存在许多挑战和问题。例如，对于复杂的环境和多个目标，算法的性能可能会下降。然而，随着技术的发展，我们可以预见classifier-free diffusion guidance将会在未来的目标导航中发挥重要的作用。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

旋转的油纸伞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值