如何使用StableDiffusion对图片进行高清、优化、放大

今天这篇文章,主要想分享下如何优化图片,核心目的就是让图片变得更好看。

StableDiffusion默认生成的图片分辨率为512*512,“只可远观,不可近赏”来形容怕是再合适不过了。好不容易抽到了一张自己心仪的图,但苦于颜色暗淡,分辨率低下,有什么办法能在原画的基础上,让它的细节更丰富吗?答案是肯定且简单的。

原始图

一、高分辨率修复(Hires.fix)

使用方法:

1、勾选高分辨率修复,输入放大倍数;

2、调整数据(高分迭代步数、重绘幅度)

2.1高分迭代步数:是StableDiffusion等图像生成模型中的一个关键参数,控制生成过程中的迭代次数。更多的迭代步数通常会带来更高的图像质量和细节,但同时也会增加生成时间。一般来说,较少的迭代步数(如50到100)生成速度快但图像细节可能不足;较多的迭代步数(如150到300或更多)生成速度慢但图像细节更丰富。

(上图设置为150,出图生成时间明显变长)

2.2 重绘幅度:用于控制图像重绘的程度。它决定了在从噪声图像生成最终图像时,模型对输入提示词的依赖程度。重绘幅度的值通常在0到1之间:

0:表示没有重绘,即保持原始图像不变。

1:表示完全重绘,即生成的图像完全依赖于提示词,不参考原始图像。

当调整到0.9时,生成了一张跟原图完全不沾边的图,可见该数值对原图的影响非常大。

3、选择放大算法;

有一种说法是无脑选择 R-ESRGAN 4x+ 算法就好,如果是二次元就选择 R-ESRGAN 4x+ Anime6B,但就我个人体会来说似乎影响不大,如果有多余时间可以几种算法都尝试。

画面都显得有些灰暗,颜色并不鲜艳,可以通过勾选模型旁边地外挂VAE模型,效果提升明显。

二、图生图

1、调整重绘尺寸;效果与将图片发送到后期处理效果看不出区别。

2、脚本-SD放大。

使用方法:

1、在脚本下拉菜单中选择SD upscale;

2、在放大倍数中填入合适的数字。

3、在分块重叠像素宽度中保持默认值64即可,或者其他值X。

4、在重绘尺寸栏中,将步骤3中填入的数值加上原有的值,得出一个新值填入其中。例如原始图片尺寸为512512,扩大成原来的两倍即1024,再加上重叠像素值64,最终填入10881088。

5、可以根据需要需要对CFG Scale值和重绘幅度值进行调整。

这么做的原因在于,该功能实现的原理是放大的原理把原图切成若干份,各自生成后再拼接成一张更大的图,而这多出来的像素就是用来重合时做缓冲使用。

可以看出明显的拼接痕迹

三、Tiled Diffusion + Tiled VAE

在StableDiffusionUI上的操作很容易,只需要勾选这两个框、调整放大倍数,其他保持默认也可以实现放大功能。

以下是它们的工作原理:

Tiled Diffusion**通过将图像分割成较小的块,每个块单独进行处理,然后将处理后的块重新拼接成完整的高分辨率图像。这种方法的关键步骤包括:**

  • 图像分割:将原始图像分割成多个重叠的较小块。重叠部分可以帮助在拼接时避免明显的边缘或接缝。

  • 块处理:对每个块单独进行扩散过程,即逐步去噪和细化图像。每个块可以独立处理,这样可以避免处理整个图像时的高内存占用。

  • 图像重建:将处理后的块重新拼接成完整的图像。重叠部分的像素可以通过加权平均或无缝拼接算法处理,确保块之间的过渡平滑自然。

Tiled VAE**也采用分块处理的方式,将图像分割成较小的块,每个块单独进行编码和解码。具体步骤包括:**

  • 图像分割:将原始图像分割成较小的块,块的大小可以根据具体需求进行调整。

  • 块编码:使用VAE对每个块进行编码,将高维图像数据压缩成低维潜在向量。

  • 块解码:将潜在向量解码回高分辨率图像块。解码后的图像块可能会进行一些细化处理,以提高图像质量。

  • 图像重建:将解码后的图像块重新拼接成完整的图像,同样需要处理块之间的过渡部分,以确保拼接效果自然。

以下是使用Tiled Diffusion和Tiled VAE对图像进行放大和修复的具体步骤:

  • 准备图像:加载需要放大和修复的原始图像。

  • 设置块大小:选择合适的块大小,通常根据图像分辨率和可用的计算资源进行选择。

  • 图像分割:将原始图像分割成指定大小的块,确保块之间有一定的重叠区域。

  • 处理每个块:

  • 对于Tiled Diffusion,逐步去噪和细化每个块。

  • 对于Tiled VAE,先对每个块进行编码,再进行解码和细化。

  • 图像重建:将处理后的块拼接回原始图像,处理重叠区域以确保图像的平滑过渡。

最后,如果大家对SD绘画感兴趣,可以了解一下我们的课程,顺便白嫖一些AI绘画的资料!!!

<think>好的,用户想了解使用Stable Diffusion进行插画创作的具体流程和步骤。首先,我需要回忆一下之前的引用内容,看看有没有相关的信息。引用[2]提到过建筑风景图片的插画转绘教程,里面涉及模型选择、提示词编写、参数调整、LoRA模型和ControlNet的使用,还有固定颜色技巧。引用[1]和[3]也提到过Stable Diffusion的基本安装配置和提示词的重要性,用户可能需要从基础开始。引用[4]则强调了Stable Diffusion作为开源模型的优势,可能涉及扩展插件的使用。 用户明确询问的是流程和步骤,所以需要结构化的回答。首先应该分步骤说明,从准备工作到生成后的调整。需要涵盖模型选择、提示词编写、参数设置、ControlNet应用、LoRA模型使用,以及后期处理等。用户可能对每个步骤的具体操作不太清楚,需要详细说明,比如如何选择模型,如何编写有效的提示词,参数如何调整,ControlNet的作用是什么,LoRA模型怎么应用,还有颜色固定的技巧。 还要注意引用相关的内容来支持每个步骤。比如在模型选择部分,引用[2]和[3]提到模型的选择对效果的影响。提示词部分引用[1]和[2]提到的技巧。参数调整部分引用[2]中的参数设置建议。ControlNet和LoRA模型部分引用[2]和[4]的内容。颜色固定技巧直接来自引用[2]。最后,后期处理部分可能需要补充一些通用知识,但引用中没有提到,所以可以简要带过。 需要确保回答结构清晰,步骤明确,每个步骤都有具体的操作方法和建议。同时,生成的相关问题要围绕用户可能进一步感兴趣的点,比如提示词优化、参数调整技巧、ControlNet的高级用法、LoRA模型训练等。这样可以帮助用户深入了解每个环节,解决可能遇到的问题。</think>### Stable Diffusion插画创作流程详解 根据提供的引用内容[^2][^3][^4],插画创作流程可分为以下7个关键步骤: #### 一、前期准备 1. **模型选择** - 优先选择插画专用模型(如$AnythingV5$,$WaifuDiffusion$) - 建筑类插画推荐使用$ArchitecturalLoRA$模型[^2] - 模型文件需放置在`/models/Stable-diffusion`目录 2. **插件安装** - 必需插件:ControlNet、Tagger、Dynamic Prompting - 安装方式:通过WebUI的"Extensions"菜单安装 ```python # 示例:ControlNet配置文件 controlnet: preprocessor: hed model: control_v11p_sd15_scribble weight: 1.0 ``` #### 二、提示词工程 1. **正向提示词结构**(引用[^2]优化版): ``` [风格词] + [主体描述] + [构图要素] + [画质修饰] 示例: (masterpiece), (watercolor painting), ancient Chinese building, symmetrical composition, intricate details, vibrant colors, 8k resolution ``` 2. **反向提示词模板**: ``` low quality, blurry, deformed hands, extra fingers, text ``` #### 三、参数设置 $$ \begin{cases} sampler = DPM++ 2M Karras \\ steps = 25-35 \\ CFG scale = 7-12 \\ Hires.fix = R-ESRGAN 4x+ \\ upscale = 2x \\ denoising = 0.5-0.7 \end{cases} $$ (参数组合参考[^2][^4]) #### 四、ControlNet应用 1. 上传线稿或照片 2. 选择预处理类型: - 线稿转绘:`scribble`模式 - 照片转绘:`canny`或`hed`边缘检测[^2] 3. 权重设置建议: ```markdown | 控制类型 | 初始权重 | 结束权重 | |----------|----------|----------| | 线稿 | 0.8 | 0.6 | | 景深 | 0.7 | 0.4 | ``` #### 五、LoRA模型应用 1. 在提示词中插入`<lora:model_name:0.8>` 2. 常用组合公式(引用): $$ Output = BaseModel \times (1 + \sum_{i=1}^{n}LoRA_i) $$ #### 六、颜色控制技巧 1. 使用`color palette`插件固定主色调 2. 在提示词中添加色值: ``` (primary color: #FFD700), (secondary color: #4B0082) ``` 3. 使用`ADetailer`进行局部颜色修正[^2] #### 七、后期处理 1. 高清修复流程: ``` 生成图像 → 发送到img2img → 选择4x-UltraSharp → 重绘幅度0.3 ``` 2. 使用Inpaint修正细节
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值