目录
政安晨的个人主页:政安晨
欢迎 👍点赞✍评论⭐收藏
收录专栏: 零基础玩转各类开源AI项目
希望政安晨的博客能够对您有所裨益,如有不足之处,欢迎在评论区提出指正!
本文目标:基于Ubuntu系统从源码部署MuseV项目。
项目地址:
git clone --recursive https://github.com/TMElyralab/MuseV.git
MuseV
是基于扩散模型的虚拟人视频生成框架,具有以下特点:
- 支持使用新颖的视觉条件并行去噪方案进行无限长度生成,不会再有误差累计的问题,尤其适用于固定相机位的场景。
- 提供了基于人物类型数据集训练的虚拟人视频生成预训练模型。
- 支持图像到视频、文本到图像到视频、视频到视频的生成。
- 兼容
Stable Diffusion
文图生成生态系统,包括base_model
、lora
、controlnet
等。- 支持多参考图像技术,包括
IPAdapter
、ReferenceOnly
、ReferenceNet
、IPAdapterFaceID
。- 项目方后面也会推出训练代码。
下载项目
git clone --recursive https://github.com/TMElyralab/MuseV.git
下载时一定要注意递归选项(该项目中含有子模块):
创建虚拟环境
尝试使用项目中自带的配置引导文件创建conda虚拟环境:
conda env create --name musev --file ./environment.yml
如果小伙伴们在这个过程中出错,可以尝试解析一下这个配置文件,并一步步操作,遇到问题解决问题。
过程如下:
在MuseV的目录中,打开虚拟环境配置文件:
没有Vim的伙伴自行安装:
sudo apt install vim
打开配置文件如下:
这里面有个关键点,python的版本,配置中显示的是python=3.10.6,我们就用3.10的python版本把conda环境先创建出来,再在虚拟环境中使用pip安装依赖进行尝试:
conda create -n musev python=3.10
conda activate musev