WonderJourney 生成视频部署笔记

目录

原理

所有场景的参数：

代码笔记：

模型列表

相机旋转

生成关键帧

分段结果合成视频

2. 相关工作

3. 方法

3.1 场景描述生成

3.2 视觉场景生成

3.3 视觉验证

原理

• Pytorch3D：用于高性能的3D渲染，确保生成的场景具有高度的真实感和细节。
• GPT-4：通过生成场景描述，为每一帧提供丰富的背景故事和情感。
• MiDaS：用于深度估计，确保场景的立体感和空间感。
• Stable Diffusion：用于图像生成和修复，确保每一帧的图像质量。

所有场景的参数：

 WonderJourney-main/examples/examples.yaml

case 场景参数：

- name: real_building
  image_filepath: examples/images/26_real_building.png
  style_prompt: campus setting