【生成模型之十五】BrushNet

### 关于BrushNet的工作流与使用方法 #### 刷子网络（BrushNet）概述 BrushNet 是一种基于分解双分支扩散的即插即用图像修复模型[^2]。其设计目标在于提高图像修复的一致性和质量，特别是在处理复杂场景时减少文本引导可能带来的干扰。 #### BrushNet的核心机制 BrushNet采用了一个独特的架构——分离的双分支扩散结构。这种结构允许模型分别关注两个不同的方面： - **主分支**负责整体图像生成的任务。 - **辅助分支**则专注于从被遮挡区域提取特征并补充到主分支中，从而增强修复效果。 此设计有效降低了传统单一路径模型中可能出现的信息丢失风险，并显著提升了修复结果的空间连贯性。 #### 实现流程详解 以下是利用ComfyUI框架结合BrushNet插件完成图像修复的主要步骤说明： 1. 准备环境：确保已安装好支持运行PyTorch程序所需的依赖项以及最新版本的ComfyUI平台。 2. 加载预训练权重文件：下载官方发布的或者自己微调过的BrushNet模型参数，并将其导入至项目目录下指定位置以便加载使用。 3. 配置输入数据：对于待修复图片需创建对应的二值掩码(mask)，其中白色代表需要填补的部分而黑色表示保留原样不变之处；同时调整大小使之匹配预期尺寸要求(如512×512像素)。 4. 执行推理操作：启动ComfyUI界面，在节点编辑器里添加相应组件连接起来形成完整的计算图谱。具体来说就是依次加入ReadImage、MaskToLatent、BrushNetInpainting等模块，并设置好各项超参选项比如迭代次数(step number)、指导强度(guidance scale)等等数值范围内的合理取值。 5. 输出成果评估：经过一段时间等待之后即可获得最终输出效果图。此时可以对比原始破损照片查看修补后的视觉差异程度如何，进而判断是否满意当前设定下的性能表现水平。 ```python import torch from comfyui import ComfyUI, ReadImage, MaskToLatent, BrushNetInpainting # 初始化ComfyUI实例 app = ComfyUI() # 添加读取图像节点 read_image_node = app.add_node(ReadImage(), inputs={"image_path": "/path/to/input/image.png"}) # 创建蒙版转换潜空间向量节点 mask_to_latent_node = app.add_node(MaskToLatent(), inputs={ "mask_path": "/path/to/mask.png", "size": (512, 512), }) # 插入BrushNet修复节点 brushnet_inpainting_node = app.add_node(BrushNetInpainting(), inputs={ "latent_input": mask_to_latent_node.outputs["latent"], "guidance_scale": 7.5, "steps": 50, }) ``` 上述代码片段展示了如何构建一个基本的ComfyUI工作流来应用BrushNet进行图像修复。 ---