论文阅读：High-Resolution Image Synthesis with Latent Diffusion Models

已于 2024-03-05 21:00:50 修改
阅读量1.5k 收藏 28
点赞数 23
CC 4.0 BY-SA版权
分类专栏： # Stable Diffusion 文章标签： 论文阅读 stable diffusion AIGC
于 2024-02-26 16:05:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huzimu_/article/details/136288014
本文介绍了一种名为LDM的潜在扩散模型，它通过在压缩的潜在空间中优化来解决高分辨率图像合成中的计算效率问题。实验表明，LDM在保持高质量的同时显著减少了计算成本，适用于多种图像生成任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

High-Resolution Image Synthesis with Latent Diffusion Models

论文链接
代码链接

What’s the problem addressed in the paper?(这篇文章究竟讲了什么问题？比方说一个算法，它的 input 和 output 是什么？问题的条件是什么)

  • 这篇文章提出了一种合成高分辨率图片的潜在空间扩散模型（LDM），解决了在像素空间中优化Diffusion Models时面临的高计算开销问题。
  • 下图是LDM的结构流程图，从左到右的三个模块分别是：感知图片压缩（Perceptual Image Compression），潜在扩散模型（Latent Diffusion Model），和条件机制模块（Condition mechanism）。首先，原始图片 x x x在像素空间中被感知压缩模型压缩为潜在空间特征 z z z，然后，Unet通过扩散过程（向 z z z中添加噪声和去除噪声）重构了潜在空间特征
最低0.47元/天 解锁文章

200万优质内容无限畅学
【深度学习】High-Resolution Image Synthesis with Latent Diffusion Models，论文
q742971636的博客
07-30 1868
通过将图像形成过程分解为去噪自动编码器的连续应用，扩散模型（DMs）在图像数据及其他领域取得了最先进的合成结果。此外，它们的构建方式允许引入引导机制以控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中运行，优化强大的DMs通常需要耗费数百个GPU天，并且由于需要进行连续评估，推理成本高昂。为了在有限的计算资源上实现DM训练并保持其质量和灵活性，我们将它们应用于强大的预训练自动编码器的潜变空间。
014_SSS_High-Resolution Image Synthesis with Latent Diffusion Models
D_Trump的博客
09-13 3155
High-Resolution Image Synthesis with Latent Diffusion Models阅读笔记
【图像生成1】Latent Diffusion Models 论文学习笔记
最新发布
csdnn345的博客
05-16 1369
Latent Diffusion Models 论文笔记
【论文简介】Stable Diffusion的基础论文:2112.High-Resolution Image Synthesis with Latent Diffusion Models
热门推荐
进一寸有一寸的欢喜
10-31 5万+
SD主体结构如下图所示，主要包括三个模型：autoencoder：encoder将图像压缩到latent空间，而decoder将latent解码为图像；CLIP text encoder：提取输入text的text embeddings，通过cross attention方式送入扩散模型的UNet中作为condition；UNet：扩散模型的主体，用来实现文本引导下的latent生成。
【扩散模型】3、Stable Diffusion 原型 | High-Resolution Image Synthesis with Latent Diffusion Models
呆呆的猫的博客
04-02 1871
本文主要介绍 stable diffusion 原型—— Latent diffusion models
【CVPR 2022】（LDM）High-Resolution Image Synthesis with Latent Diffusion Models
Drug discovery
11-22 6129
详细解读Latent Diffusion Models：原理和代码
High-Resolution Image Synthesis with Latent Diffusion Models
m0_59402094的博客
04-18 1464
基于潜在扩散模型的高分辨率图像合成
论文解读之High-Resolution Image Synthesis with Latent Diffusion Models（Stable Diffusion）
m0_72806612的博客
10-29 1111
本文是Stable Diffusion等一系列扩散模型的里程碑，主要解决的问题是Diffusion模型在原始的像素空间中需要的计算资源过多的问题。
LDM：High-Resolution Image Synthesis with Latent Diffusion Models
weixin_44966641的博客
02-18 2024
Stable Diffusion 的影响力不用多说，本文主要提了 LDM 技术上的两个关键点。其中 VAE 感知压缩要首先深刻理解一系列自编码压缩方法（之前的文章都有介绍），然后搞懂 KL-reg 和 VQ-reg 两种正则化方式实际上相当于什么方法，以及为什么要加正则。交叉注意力的条件生成机制也是目前比较常用的，理解好交叉注意力机制本身是如何操作的即可，别的就是如何将不同的条件形式进行高效编码。
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_57974242的博客
11-02 9426
为了降低训练扩散模型的算力，LDMs使用一个Autoencoder去学习能尽量表达原始image space的低维空间表达（latent embedding），大大减少需要的算力。在RGB空间：编码器encoder：，将x压缩成低维表示解码器decoder: D，将低维表示z还原成原始图像空间。1. 加入Autoencoder（上图中左侧红色部分），使得扩散过程在latent space下，提高图像生成的效率；
High-Resolution Image Synthesis with Latent Diffusion Models 论文重点
qq_45373485的博客
12-05 3483
通过将图像生成过程分解为去噪编码器的迭代应用，扩散模型(DMs)在图像数据和其他数据上实现了最先进的合成结果。此外，它们的表述还提供了一种引导机制来控制图像生成过程，而无需再训练。然而，由于这些模型通常直接在像素空间中操作，优化功能强大的dm通常会消耗数百个GPU天，而且由于顺序计算，推理是昂贵的（耗时）。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于强大的预训练预编码的潜在空间。与以前的工作相比，在这种表示上训练扩散模型首次允许在复杂性减少和细节保留之间达到一个接近最优点，极大
4、High-Resolution Image Synthesis with Latent Diffusion Models
小白的博客
03-04 3326
diffusion
[Stable Diffusion/LDM] High-Resolution Image Synthesis with Latent Diffusion Models
sinat_30618203的博客
06-12 1384
DM的train和infer均需大量的时间和显存。
论文笔记High-Resolution Image Synthesis with Latent Diffusion Models
icylling的专栏
12-19 3607
该论文在预训练的自编码器的隐含空间中训练扩散模型，并使用cross-attention机制为扩散模型引入条件。
Stable Diffusion - High-Resolution Image Synthesis with Latent Diffusion Models
kebijuelun的博客
12-14 530
2021 年 runway 和慕尼黑路德维希·马克西米利安大学出品的文章，开源社区大名顶顶的文生图模型 stable diffusion 背后的论文。提出 Latent Diffusion Models，基于 latent space 进行 diffusion，降低计算量需求。
论文阅读--High-Resolution Image Synthesis with Latent Diffusion Models
weixin_47628481的博客
12-30 1353
Diffusion model相比GAN可以取得更好的图片生成效果，然而该模型是一种自回归模型，需要反复迭代计算，因此训练和推理代价都很高。论文提出一种在潜在表示空间（latent space）上进行diffusion过程的方法，从而能够大大减少计算复杂度，同时也能达到十分不错的图片生成效果。扩散模型是一类概率模型，设计用于通过逐渐去噪正态分布变量来学习数据分布pxp(x)px，这相当于学习固定马尔可夫链长度TTT的逆过程。
high-resolution image synthesis with latent diffusion models
liguandong
12-26 5308
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
【文献阅读笔记】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_43480392的博客
11-01 1346
通过将图像形成过程分解为去噪自动编码器的连续应用，diffusion models(DMs)在图像数据上取得了最先进的合成结果。此外，他们的公式允许用于控制图像生成过程而不需要重新训练的导向机制。不过，由于这些模型通常直接在像素空间操作，优化强大的 DM 通常消耗数百个 GPU，并且由于连续评估，推论是昂贵的。为了使DM能够在有限的计算资源训练，同时保留其质量和灵活性，文中作者将其应用于强大的预训练自动编码器的潜在空间中。
Stable Diffusion（Latent Diffusion Models, LDM）的相关论文
05-16
**High-Resolution Image Synthesis with Latent Diffusion Models** 这篇论文详细介绍了如何通过潜在扩散模型实现高分辨率图像合成的方法。作者提出了将扩散模型应用于潜在空间的概念，从而显著降低了计算复杂度，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值