【AI大模型前沿】RelightVid：上海 AI Lab联合复旦等高校推出的视频重照明模型

系列篇章💥

前言

在数字内容创作和视频编辑领域，光照条件对视觉效果有着至关重要的影响。然而，传统的视频重照明技术往往依赖于复杂的拍摄条件或后期处理，难以实现高效且自然的光照调整。为了解决这一问题，上海 AI Lab联合复旦大学、上海交通大学、浙江大学、斯坦福大学和香港中文大学等高校，推出了一种名为RelightVid的视频重照明模型。该模型基于时序一致性扩散模型，能够根据文本提示、背景视频或HDR环境贴图对输入视频进行细粒度和一致的场景编辑，为视频创作带来了新的可能性。

一、项目概述

RelightVid是一个由上海 AI Lab联合多所高校推出的视频重照明模型，旨在通过文本提示、背景视频或HDR环境贴图对视频进行高质量的重照明。它支持全场景重照明和前景保留重照明，能够在保持时序一致性和照明细节方面表现出色。RelightVid基于预训练的图像照明编辑扩散框架（IC-Light），通过引入可训练的时序层和多模态条件联合训练，实现了对视频的高效重照明。这一技术为影视制作、游戏开发、增强现实等领域提供了强大的工具，能够显著提升视频内容的创作效率和视觉效果。

二、技术原理

（一）扩散模型扩展

RelightVid基于预训练的图像重照明扩散模型（如IC-Light），通过扩展架构支持视频输入，并引入时序层捕捉帧间的时间依赖性，确保重照明的时序一致性。这种扩展不仅保留了图像重照明的高质量，还增强了视频重照明的效果。

（二）多模态条件联合训练

RelightVid能够同时利用背景视频、文本提示和HDR环境贴图作为条件。通过编码器将这些条件嵌入到模型中，并基于交叉注意力机制实现协同编辑，从而实现对视频的细粒度控制。

（三）光照不变集成（Illumination-Invariant Ensemble, IIE）

为了提高模型在不同光照条件下的鲁棒性，RelightVid采用了光照不变集成策略。通过亮度增强输入视频并平均预测噪声，该策略可以有效防止反照率变化，确保重照明结果的一致性。

（四）数据增强管道（LightAtlas）

RelightVid通过自定义的增强管道生成高质量的视频重照明数据对。该管道结合真实视频和3D渲染数据，为模型提供了丰富的光照先验知识，增强了对复杂光照场景的适应能力。

三、主要功能

（一）文本条件重照明

用户可以通过输入文本描述（如“阳光透过树叶，形成斑驳光影”或“柔和的晨光，金色时刻”）对视频进行重照明。RelightVid能够根据文本提示生成与描述相符的光照效果。

（二）背景视频条件重照明

RelightVid可以使用背景视频作为光照条件，动态调整前景对象的光照，使前景与背景光照一致。这种功能特别适用于需要将前景对象与特定背景环境融合的场景。

（三）HDR环境贴图条件重照明

通过使用HDR环境贴图，RelightVid能够实现更精确的光照控制，生成高质量的重照明效果。这对于需要模拟复杂光照条件的场景非常有用。

（四）全场景重照明

RelightVid支持对前景和背景进行联合重照明，使整个场景与光照条件匹配，生成自然且一致的视觉效果。

（五）前景保留重照明

在某些场景中，用户可能希望突出前景对象，而保留背景不变。RelightVid支持对前景进行重照明，同时保留背景的原始光照，满足此类需求。

四、应用场景

（一）影视制作

在电影或电视剧中，RelightVid可以快速调整场景的光照效果，以匹配不同的剧情需求或导演的创意构想，无需重新拍摄。这大大节省了时间和成本，提高了创作效率。

（二）游戏开发

在游戏开发中，RelightVid可以动态改变场景光照，增强游戏的沉浸感和视觉效果。例如，根据不同的时间和天气条件，实时调整游戏中的光照，使玩家获得更真实的体验。

（三）增强现实（AR）

在AR应用中，RelightVid可以实时调整虚拟元素的光照，使其与真实环境的光照一致，提升用户体验。这对于需要将虚拟对象与现实世界无缝融合的应用场景非常关键。

（四）视频广告与营销

RelightVid能够为广告视频快速生成多种光照风格，满足不同品牌或活动的宣传需求，提升视频的视觉吸引力。例如，通过改变光照氛围，模拟不同的天气或时间场景，丰富广告内容。

（五）视频内容创作

对于视频博主或内容创作者来说，RelightVid可以帮助他们轻松改变视频的光照氛围，如模拟不同天气或时间的场景，丰富创作内容，提升视频的视觉效果。

五、快速使用

（一）环境配置

1. 克隆项目代码
   首先，从GitHub克隆RelightVid项目代码：

git clone https://github.com/Aleafy/RelightVid.git
cd RelightVid

2. 安装依赖
   安装项目所需的Python依赖包：

conda create -n relitv python=3.10
conda activate relitv

pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

（二）模型准备

1. 下载预训练模型
   为了复现RelightVid的结果，需要下载以下预训练模型，并按照以下目录结构组织：

RelightVid
├── models
│   ├── realistic-vision-v51                              // stable diffusion base model
│   │   ├── text_encoder
│   │   │   ├── config.json
│   │   │   └── model.safetensors
│   │   ├── tokenizer
│   │   │   ├── merges.txt
│   │   │   ├── special_tokens_map.json
│   │   │   ├── tokenizer_config.json
│   │   │   └── vocab.json
│   │   ├── unet
│   │   │   └── diffusion_pytorch_model.safetensors
│   │   ├── vae
│   │   │   ├── config.json
│   │   │   └── diffusion_pytorch_model.safetensors
│   ├── iclight_sd15_fbc.safetensors                      // ic-light weights
│   ├── relvid_mm_sd15_fbc.pth                            // relightvid motion weights

你可以通过项目提供的下载链接下载所有模型文件。

（三）视频重照明

1. 背景视频条件重照明
   如果你想使用背景视频作为光照条件对输入视频进行重照明，可以运行以下命令：

python inference.py \
  --input "./assets/input/lion.mp4" \
  --mask "./assets/mask/lion" \
  --bg_cond "./assets/video_bg/stage_light2.mp4" \
  --output_path "output/lion_stagelight2.mp4"

其中：

• --input：输入视频的路径。
• --mask：每帧前景掩码的目录路径。
• --bg_cond：背景光照条件视频的路径。
• --output_path：重照明结果保存的路径。

你可以自由组合任何输入视频和任何背景视频。以下是更多示例命令：

python inference.py --input "./assets/input/woman.mp4" --mask "./assets/mask/woman" --bg_cond "./assets/video_bg/universe1.mp4" --output_path "output/woman_universe1.mp4"
python inference.py --input "./assets/input/woman.mp4" --mask "./assets/mask/woman" --bg_cond "./assets/video_bg/beach.mp4" --output_path "output/woman_beach.mp4"
python inference.py --input "./assets/input/man.mp4" --mask "./assets/mask/man" --bg_cond "./assets/video_bg/tunnel.mp4" --output_path "output/man_tunnel.mp4"
python inference.py --input "./assets/input/man2.mp4" --mask "./assets/mask/man2" --bg_cond "./assets/video_bg/fantasy.mp4" --output_path "output/man2_fantasy.mp4"
python inference.py --input "./assets/input/lion.mp4" --mask "./assets/mask/lion" --bg_cond "./assets/video_bg/stage_light1.mp4" --output_path "output/lion_stagelight1.mp4"
python inference.py --input "./assets/input/truck.mp4" --mask "./assets/mask/truck" --bg_cond "./assets/video_bg/universe3.mp4" --output_path "output/truck_universe3.mp4"
python inference.py --input "./assets/input/truck.mp4" --mask "./assets/mask/truck" --bg_cond "./assets/video_bg/universe1.mp4" --output_path "output/truck_universe1.mp4"
python inference.py --input "./assets/input/glass.mp4" --mask "./assets/mask/glass" --bg_cond "./assets/video_bg/snow.mp4" --output_path "output/glass_snow.mp4"
python inference.py --input "./assets/input/dance.mp4" --mask "./assets/mask/dance" --bg_cond "./assets/video_bg/sunscape.mp4" --output_path "output/dance_sunscape.mp4"

（四）注意事项

• 输入视频和掩码
  • 确保输入视频和前景掩码的帧数一致。前景掩码目录中应包含与输入视频每一帧对应的掩码图像。
• 模型路径
  • 确保下载的预训练模型文件路径与代码中指定的路径一致。如果路径不一致，需要修改代码中的模型路径。
• 输出结果
  • 重照明后的视频将保存在指定的--output_path路径中。如果路径不存在，程序将自动创建该路径。

六、结语

RelightVid作为一种创新的视频重照明技术，为视频编辑和内容创作带来了新的可能性。它通过文本提示、背景视频或HDR环境贴图实现了对视频的高效重照明，同时保持了时序一致性和光照细节。RelightVid在影视制作、游戏开发、增强现实等多个领域具有广泛的应用前景，能够显著提升视频内容的创作效率和视觉效果。随着技术的不断发展，我们期待RelightVid在未来能够进一步优化，支持更复杂的光照场景和更高效的处理能力。

七、项目地址

• 项目官网：https://aleafy.github.io/relightvid/
• GitHub仓库：https://github.com/Aleafy/RelightVid
• arXiv技术论文：https://arxiv.org/pdf/2501.16330

🎯🔖更多专栏系列文章：AI大模型提示工程完全指南、AI大模型探索之路（零基础入门）、AI大模型预训练微调进阶、AI大模型开源精选实践、AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑

😎 作者介绍：资深程序老猿，从业10年+、互联网系统架构师，目前专注于AIGC的探索（CSDN博客之星|AIGC领域优质创作者）
📖专属社群：欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码，回复‘入群’ 即刻上车，获取邀请链接。
💘领取三大专属福利：1️⃣免费赠送AI+编程📚500本，2️⃣AI技术教程副业资料1套，3️⃣DeepSeek资料教程1套🔥（限前500人）
如果文章内容对您有所触动，别忘了点赞、⭐关注，收藏！加入我们，一起携手同行AI的探索之旅，开启智能时代的大门！