controlnet reference only

Stable Diffusion插件ControlNet新功能Reference Only，直译“仅供参考”，其实更像仿制图章，在特定的环境下是相当好用的，能保持画面良好的连贯性。 下面来介绍一下，reference Only的安装和使用效果。

controlnet模型有sd15和基于sd15上的fp16版本fp16版本的模型比较小，但功能效果跟sd15是一样的controlnet的fp16模型下载地址controlnet的openpose里，有个dw_openpose的预处理器，这个姿态检测的模型效果特别好，比openpose_full好太多，准确太多，这个也需要单独下载。

“过去在的 Stable Diffusion 下，若要固定某个人的脸，就要事先训练 LoRa 。这样的过程往往复杂而耗时，限制了创作者的创作效率。然而最近有一个新工具在最近引起了广泛的讨论和关注，只要一张照片，就可以让 AI 做出这个人的不同动作，让创作者不必要再为了训练模型而分心，大大提高创作速度。”01—reference only这种方法类似于基于修复的参考方法，但不会使您的图像变...

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信技术交流群丰色 发自 凹非寺转载自：量子位（QbitAI）Stable Diffusion插件、“AI绘画细节控制大师”ControlNet迎来重磅更新：只需使用文本提示词，就能在保持图像主体特征的前提下，任意修改图像细节。比如给美女从头发到衣服都换身造型，表情更亲和一点：抑或是让模...

OpenPose有专门提取脸部特征，手部特征，关节，膝盖，脚踝以及以上特征的组合等多种模型。相比img2img，Depth2img 不仅能够利用 文本prompt，原来的图像，还可以使用原来图像的深度信息来控制图像的生成，也就是说，相比前者，他有3维参考信息。从上面示例，大家能够看到边缘检测器和OpenPose的一些区别，前者勾勒人物轮廓，目标图像会保留原图中的头发，衣服等轮廓，适合于一些富含边缘信息的主题和背景迁移，而后者更自由，它关注人物的关键姿势特征，但是不会保留那些衣服，头发等的轮廓信息。

webUI api payload 插件生成的接口参数不准确，reference-only 的image不是对象，就是不同字符串字段，直接传，不是套image。看 stable diffusion 控制台输出，说用上了reference-only。综上，那个插件参数不确定，应直接看插件的源码，看它接受什么参数。如果 image 传岔劈了，控制台不会提示用了这个插件。正确 "image":xxxxxx。

大家好我是小王！是ControlNet的一个组件，该组件。使得用户能够指定参考图像中期望的属性、构图或风格等属性，然后将这些元素融入到新生成的图像输出中。在官方文档中介绍到：reference-only预处理是一款不需要任何控制模型即可实现使用一张图片作为参考来引导扩散，能够保证生成图片的一致性。通过提供一个参考图像，用户就可以。能够帮助用户。这是生成与参考图像非常相似或受其启发的图像的有价值工具，增强了用户创建期望构图的能力。

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

到这一步我们已经成功安装了 Controlnet 插件，以及提取预处理器所需要的 .yaml 文件，下一步就是安装模型（models），模型的文件尾缀为pth，它的作用是将图像特征执行到我们的图像生成过程中，Controlnet V1.1 的模型需要我们到 Huggingface 中去下载。而且原图的像素值太少，所以图像即使变大，看着依旧模糊。Tile 模型还有一个特点：当提示词与给定的图像不符合时，Tile会忽略提示词的影响，转而自动识别图块内部的内容，并增加识别语义的影响，从而生成与图块相似的图像。

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

Stable Diffusion WebUI 的绘画插件 Controlnet 最近更新了 V1.1 版本，发布了 14个，并新增了多个预处理器，让它的功能比之前更加好用了，最近几天又连续更新了3 个新 Reference 预处理器，可以直接根据图像生产风格类似的变体。使用 Reference only生成一张图片的多个变体因为 Controlnet在更新时涉及到多个网页里的资源，这里帮大家梳理一下更新V1.1 所需要的各种资源，以及如何有效的安装 Controlnet 插件。

ControlNet一直是SD的大杀器，这两天又更新了一个好用的功能Reference Only，直译“参考”，其实更像仿制图章，在特定的环境下是相当好用的，下面详细讲解下。首先是安装，打开SD，找到扩展设置，检查更新找到ControlNet，更新到最新版本更新到最新版本controlnet然后重启UI，如果能在预处理器能看到reference_only则更新成功预处理器找到reference_only首先试试真人效果，用我之前画的美少女战士土萌萤美少女战士-土星土萌萤。

本文介绍了Stable Diffusion中【controlNet】Reference的使用方法，帮助用户在AI绘图中实现精准的风格和内容参考。引用官方对参考的介绍：现在我们有一个 reference-only预处理，它不需要任何控制模型即可实现直接使用一张图片作为参考来引导扩散。关于reference-only的官方介绍：https://github.com/Mikubill/sd-webui-controlnet/discussions/1236。

多控制网和开启关闭controlnet支持多个单元输入，共同生效。与关键词，LoRA一样，每个control单元都有权重（control weight）可以来控制。如果界面上4个单元都不够用，可以在设置里controlnet目录下，调整ControlNet Unit最大数量，重启WebUI才生效。每个单元的开启很容易，把启用勾选上就立刻生效。生图可见。低显存模式针对8G及以下的显卡，可以勾上。画面精度高可以勾上完美像素模式。允许预览是比较老的功能了，字面意思。▍认识Controlnet模型****

Stable Diffusion Reference Only 项目教程 项目介绍 Stable Diffusion Reference Only 是一个用于二次绘画的多条件扩散模型。该项目主要针对动漫图像进行训练，支持图像提示和蓝图联合引导，适用于专业艺术创作，如漫画和动画制作。模型通过GitHub开源，提供了在线演示和详细的安装使用说明。 项目快速启动 环境准备 建议使用conda创建虚拟环境...

StableDiffusion是当前AI绘画领域的主流开源工具，提供从文生图到高级控图的全流程创作功能。文章系统介绍了SD3.5等版本的安装部署、功能特性及商业应用：硬件要求方面，SD3.5需12-24GB显存，推荐RTX30/40系显卡；安装方法包含整合包与手动部署两种方案；版本对比显示SD1.5适合新手，SDXL提供专业画质，SD3.5支持多模态输入；商业应用需注意版权规范，年收入超100万美元需企业授权。文章还详解了模型管理、插件系统及性能优化策略，为不同用户提供差异化学习路径和权威资源推荐。