AnimateDiff采用控制模块来影响Stable Diffusion模型,通过大量短视频剪辑的训练,使其能够调整图像生成过程,生成一系列与训练视频剪辑相似的图像。与传统的SD模型训练方式不同,AnimateDiff通过大量短视频的训练来提高图像之间的连续性,使得生成的每一张图像都能经过AnimateDiff微调,最终拼接成高质量短视频。
可以使用colab体验(https://colab.research.google.com/github/camenduru/AnimateDiff-
colab/blob/main/AnimateDiff_colab.ipynb )。也可以本地sd-webui安装使用。下面介绍sd-
webui安装方式。
AnimateDiff插件是一个可以让你在WebUI上方便地生成动画GIF的扩展,它支持多种运动模块(Motion
Module,MM),包括官方的v2版本,以及LoRA和ControlNet等创新的技术。AnimateDiff插件的主要功能和使用方法:
-
安装和准备 :要使用AnimateDiff插件,需要先更新WebUI到v1.6.0 ,然后通过链接安装sd-webui-animatediff(https://gi