Stable Diffusion XL(SDXL)原理详解

本文详细介绍了如何基于StabilityAI的Stable Diffusion XL（SDXL）模型进行全量微调训练。

与之前的SD1.5大模型不同，这次的SDXL在架构上采用了“两步走”的生图方式：以往SD1.5大模型，生成步骤为 Prompt → Base → Image，比较简单直接；而这次的SDXL大模型则是在中间加了一步 Refiner。Refiner的作用是什么呢？简单来说就是能够自动对图像进行优化，提高图像质量和清晰度，减少人工干预的需要。简单来说，SDXL这种设计就是先用基础模型（Base）生成一张看起来差不多的图片，然后再使用一个图像精修模型（Refiner）进行打磨，从而让图片生成的质量更高。

如图所示，相比之前的SD，SDXL的第一个stage采用的是普通的DownBlock2D，而不是采用基于attention的CrossAttnDownBlock2D；SDXL的autoencoder依然采用KL-f8，但是并没有采用之前的autoencoder，而是基于同样的架构采用了更大的batch size（256 vs 9）重新训练，同时对模型的参数采用了EMA（指数移动平均），从而改善生成图片的局部和高频细节。SDXL的解决方案：图像裁剪参数条件化策略。SDXL的解决方案：多尺度训练策略。

（全网最详细）深入浅出完整解析Stable Diffusion XL（SDXL）核心基础知识。

2021年5月，OpenAI发表了《扩散模型超越GANs》的文章，标志着扩散模型（Diffusion Models，DM）在图像生成领域开始超越传统的GAN模型，进一步推动了DM的应用。

Stable Diffusion XL 是由 Stability AI 创建的一种新的图片生成模型。和之前的 Stable Diffusion 1.5 模型相比它主要做了以下的优化或者增强：1）对于原有 Stable Diffusion 1.5 的 U-Net，VAE，CLIP Text Encode 做了改进；2）在原有模型基础上上增加了一个 Refiner 模型，通过 Refiner 模型来提升图片的精细程度；

其中config_file.toml文件中的配置文件包含了sdxl_arguments，model_arguments，dataset_arguments，training_arguments，logging_arguments，sample_prompt_arguments，saving_arguments，optimizer_arguments以及additional_network_arguments九个个维度的参数信息。但是切记不能在多尺度增强的时候将图片的主体特征裁剪掉（比如人脸，建筑等）。

SDXL Base模型由U-Net、VAE以及CLIP Text Encoder（两个）三个模块组成，在FP16精度下Base模型大小6.94G（FP32：13.88G），其中U-Net占5.14G、VAE模型占167M以及两个CLIP Text Encoder一大一小（OpenCLIP ViT-bigG和OpenAI CLIP ViT-L）分别是1.39G和246M。SDXL Base的Encoder和Decoder结构都采用4个stage，而SDXL Base设计的是3个stage。

大家好我是极客菌，前两周Stable Diffusion WebUI1.6.0发布了，新增了很多对SDXL生态的支持。而ControlNET也对SDXL的支持也逐渐稳定。SDXL的生态终于有一点起色了，我也觉得是时候，可以来写一篇SDXL的大模型推荐了。在推荐之前，以免大家混淆，所以这里再做一个简单的小科普：现在的所有的SD的大模型，都是基于stability.ai发布的开源模型Stable Diffusion进行微调的，而Stable Diffusion本身有很多个版本。

SDXL Turbo模型，让AI绘画领域进入实时出图时代。

新的SDXL 1.0发布允许在本地计算机上运行的高分辨率人工智能图像合成。周三，Stability AI发布了其下一代开源权重人工智能图像合成模型Stable Diffusion XL 1.0（SDXL）。它可以根据文本描述生成新颖的图像，并生成比之前版本的Stable Diffusion更多细节和更高分辨率的图像。就像稳定扩散1.4版一样，在去年8月份发布开源版本后引起轰动一样，任何具备适当硬件和技术知识的人都可以免费下载SDXL文件并在自己的机器上本地运行该模型。

总的来说，新模型并没有给我留下深刻印象。MidJourney、Leonardo AI 和 Microsoft Image Generator 仍然有更好看的生成效果。尽管 Stable Diffusion XL 与之前的 AI 模型相比似乎没有显着进步，但它仍然向前迈进了一步，并且肯定还有进一步改进的空间。我期待Stability AI官方能够公布更多细节，而且我坚信最终正式发布的产品会比预览模型更好。

SDXL 1.0 版本是 Stable Diffusion 的最新版本，是基于潜在扩散模型的文本到图像生成技术，能够根据输入的任何文本生成高分辨率、高质量、高多样性的图像，具有以下特点：更好的成像质量：SDXL v1.0 版本能够以几乎任何艺术风格生成清晰、逼真、美观的图像，无论是风景、人物、建筑还是动物，都能呈现出细节和色彩，相比于之前的版本有着巨大的提升。更多的艺术风格：SDXL v1.0 版本相比于之前的版本，能够实现更多的风格，并且对于每种风格都能驾驭。

SDXL 1.0是Stability AI推出的新基础模型，作为Stable Diffusion的大幅改进版本，它是一个用于文本到图像合成的潜在扩散模型（LDM）。作为Stable Diffusion的最新进化，它正在超越其前身，并与MidjourneySOTA图像生成器相媲美的图像。这些改进源于一系列有意识的设计选择，包括一个3倍大的UNet骨干网络，更强大的预训练文本编码器，以及引入了一个单独的基于扩散的精炼模型。精炼模型使用SDEdit首次提出的后处理图像到图像扩散技术，提高了样本的视觉保真度。